Profilowanie generatorów Pythona

Question

Dostosowuję aplikację, która intensywnie korzysta z generatorów, aby uzyskać jej wyniki w celu zapewnienia interfejsu internetowego web.py.

Do tej pory mogłem zawijać wywołanie do pętli for i instrukcji generujących wydruki w funkcji i wywoływać to za pomocą cProfile.run() lub runctx(). Koncepcyjnie:

def output(): 
    for value in generator(): 
     print(value) 

cProfile.run('output()') 

W web.py muszę zawinąć go w następujący sposób, ponieważ chcę, aby od razu produkować wyjście z potencjalnie długotrwałych obliczeń w każdym kroku iteracji za pomocą yield:

class index: 
    def GET(self): 
     for value in generator(): 
      yield make_pretty_html(value) 

Czy istnieje sposób na profilowanie wszystkich wywołań do generatora, jak w pierwszym przykładzie, gdy jest używany tak, jak w drugim?

Answer 1

końcu znalazłem rozwiązanie. Zwróć wartość profilowania przez here.

import cProfile 
import pstats 
import glob 
import math 

def gen(): 
    for i in range(1, 10): 
     yield math.factorial(i) 

class index(object): 
    def GET(self): 
     p = cProfile.Profile() 

     it = gen() 
     while True: 
      try: 
       nxt = p.runcall(next, it) 
      except StopIteration: 
       break 
      print nxt 

     p.print_stats() 

index().GET() 

ja też mógł łączyć kilka takich wyników profilowania (raz zacznę dając unikalne nazwy pliku) poprzez documentation i sklep/analizować je łączyć.

Answer 2

Czy możesz po prostu użyć time.time() do profilu części, które Cię interesują? Po prostu pobierz aktualny czas i odejmij od ostatniego pomiaru.

Answer 3

Wygląda na to, że próbujesz profilować każde połączenie do "następnego" w generatorze? Jeśli tak, możesz zawinąć generator w generator profilowania. Coś takiego, gdzie skomentowana część będzie wysyłała wyniki do dziennika lub bazy danych.

 
def iter_profiler(itr): 
    itr = iter(itr) 
    while True: 
    try: 
     start = time.time() 
     value = itr.next() 
     end = time.time() 
    except StopIteration: 
     break 
    # do something with (end - stop) times here 
    yield value 
 

Wtedy zamiast instancji generator jako generator() byłoby użyć iter_profiler(generator())