Wydajność asyncio

Question

Próbuję zapoznać się z asyncio, więc postanowiłem napisać klienta bazy danych. Jednak wydajność dokładnie pasuje do kodu synchronicznego. Jestem pewien, że to moje niezrozumienie koncepcji. Czy ktoś mógłby wyjaśnić, co robię?

Proszę patrz przykład kodu poniżej:

class Connection: 
    def __init__(self, reader, writer, loop): 
     self.futures = deque() 

     # ... 

     self.reader_task = asyncio.async(self.recv_data(), loop=self.loop) 

    @asyncio.coroutine 
    def recv_data(self): 
     while 1: 
      try: 
       response = yield from self.reader.readexactly(4) 
       size, = struct.unpack('I', response) 
       response = yield from self.reader.readexactly(size) 

       # ...     

       future = self.futures.popleft() 

       if not future.cancelled(): 
        future.set_result(response) 

      except Exception: 
       break 

    def send_data(self, data): 
     future = asyncio.Future(loop=self.loop) 
     self.futures.append(future) 

     self.writer.write(data) 

     return future 


loop = asyncio.get_event_loop() 


@asyncio.coroutine 
def benchmark(): 
    connection = yield from create_connection(loop=loop, ...) 

    for i in range(10000): 
     yield from connection.send_data(...) 


s = time.monotonic() 

loop.run_until_complete(benchmark()) 

e = time.monotonic() 
print('Requests per second:', int(10000/(e - s))) 

Z góry dzięki.

Answer 1

Popełniłeś błąd w sposobie, w jaki dzwonisz pod numer send_data. Teraz, masz to:

@asyncio.coroutine 
def benchmark(): 
    connection = yield from create_connection(loop=loop, ...) 

    for i in range(10000): 
     yield from connection.send_data(...) 

Korzystając yield from wewnątrz pętli for, czekasz na future wracasz z send_data uzyskując wynik przed przejściem do następnej rozmowy. To sprawia, że ​​twój program jest zasadniczo synchroniczny. Chcesz, aby wszystkie połączenia do send_data i następnie czekać na wyniki:

@asyncio.coroutine 
def benchmark(): 
    connection = yield from create_connection(loop=loop, ...) 
    yield from asyncio.wait([connection.send_data(..) for _ in range(10000)]) 

Answer 2

Pyton asyncio moduł jest pojedynczy gwintowany:

Moduł ten zapewnia infrastrukturę do pisania jednowątkowego kod współbieżne przy użyciu współprogram, multipleksowania I/O dostęp do ponad gniazd i innych zasobów, bieganie klientów sieciowych i serwerów, a inne powiązane prymitywy.

This question ma wyjaśnienia dlaczego asyncio może być wolniejszy niż gwintowanie, ale w skrócie: asyncio wykorzystuje pojedynczy wątek, aby wykonać swój kod, więc nawet jeśli masz kilka współprogram, wszystkie one wykonywać seryjnie. Pula wątków służy do wykonywania niektórych wywołań zwrotnych i operacji we/wy. Ze względu na GIL, wątkowanie wykonuje również szeregowo kod użytkownika, chociaż operacje We/Wy mogą być uruchamiane synchronicznie.

Powód używania asyncio nie poprawia kodu seryjnego, ponieważ pętla zdarzeń działa tylko raz na raz.