Jak mogę dodać limit czasu połączenia z asyncio?

Question

Chcę bardzo szybko połączyć się z listą wielu różnych witryn. Im przy użyciu asyncio, aby to zrobić w asynchroniczny sposób, a teraz chcesz dodać limit czasu dla połączeń powinny być ignorowane, jeśli trwa zbyt długo, aby odpowiedzieć.

Jak mogę to wdrożyć?

import ssl 
import asyncio 
from contextlib import suppress 
from concurrent.futures import ThreadPoolExecutor 
import time 


@asyncio.coroutine 
def run(): 
    while True: 
     host = yield from q.get() 
     if not host: 
      break 

     with suppress(ssl.CertificateError): 
      reader, writer = yield from asyncio.open_connection(host[1], 443, ssl=True) #timout option? 
      reader.close() 
      writer.close() 


@asyncio.coroutine 
def load_q(): 
    # only 3 entries for debugging reasons 
    for host in [[1, 'python.org'], [2, 'qq.com'], [3, 'google.com']]: 
     yield from q.put(host) 
    for _ in range(NUM): 
     q.put(None) 


if __name__ == "__main__": 
    NUM = 1000 
    q = asyncio.Queue() 

    loop = asyncio.get_event_loop() 
    loop.set_default_executor(ThreadPoolExecutor(NUM)) 

    start = time.time() 
    coros = [asyncio.async(run()) for i in range(NUM)] 
    loop.run_until_complete(load_q()) 
    loop.run_until_complete(asyncio.wait(coros)) 
    end = time.time() 
    print(end-start) 

(Na marginesie: Ma ktoś pomysł jak zoptymalizować to?)

Answer 1

można zawinąć wywołanie open_connection w asyncio.wait_for, który pozwala określić timeout:

with suppress(ssl.CertificateError): 
     fut = asyncio.open_connection(host[1], 443, ssl=True) 
     try: 
      # Wait for 3 seconds, then raise TimeoutError 
      reader, writer = yield from asyncio.wait_for(fut, timeout=3) 
     except asyncio.TimeoutError: 
      print("Timeout, skipping {}".format(host[1])) 
      continue 

Należy pamiętać, że po podniesieniu TimeoutError, coroutine open_connection jest również anulowana. Jeśli nie chcesz, aby zostało ono anulowane (chociaż uważam, że chcesz je anulować w tym przypadku), to zawiń połączenie w asyncio.shield.