Profilowane wydajność len (zestaw) vs. zestawu .__ len __() w Pythonie 3

Question

Podczas profilowania mojej aplikacji Pythona, odkryłem, że len() wydaje się być bardzo drogie, jeden przy użyciu zestawów. Zobacz poniższy kod:

import cProfile 

def lenA(s): 
    for i in range(1000000): 
     len(s); 

def lenB(s): 
    for i in range(1000000): 
     s.__len__(); 

def main(): 
    s = set(); 
    lenA(s); 
    lenB(s); 

if __name__ == "__main__": 
    cProfile.run("main()","stats"); 

Według statystyk Profiler za Poniżej lenA() wydaje się 14 razy wolniej niż lenB():

ncalls tottime percall cumtime percall filename:lineno(function) 
     1 1.986 1.986 3.830 3.830 .../lentest.py:5(lenA) 
1000000 1.845 0.000 1.845 0.000 {built-in method len} 
     1 0.273 0.273 0.273 0.273 .../lentest.py:9(lenB) 

Am I czegoś brakuje? Obecnie używam __len__() zamiast len(), ale kod wygląda brudna :(

Answer 1

Oczywiście len ma pewien narzut, ponieważ robi wywołanie funkcji i przekłada AttributeError do TypeError. Również set.__len__ jest taka prosta operacja, która to wiąże się z być bardzo szybko w porównaniu do czegokolwiek, ale nadal nie znaleźć czegoś podobnego różnicy 14x przy użyciu timeit:

In [1]: s = set() 

In [2]: %timeit s.__len__() 
1000000 loops, best of 3: 197 ns per loop 

In [3]: %timeit len(s) 
10000000 loops, best of 3: 130 ns per loop 

należy zawsze po prostu zadzwonić len, nie __len__ Jeśli wywołanie len jest. szyjka w swoim programie powinieneś przemyśleć jego projekt, np. pamięci podręcznej lub obliczenia ich bez wywoływania len.

Answer 2

To miał być komentarz, ale po komentarzu larsman na jego kontrowersyjnymi wynikami a wynikami dostałam, myślę, że warto dodać swoje dane do wątku.

Próbując mniej więcej taka sama konfiguracja Mam przeciwnie PO dostał, i w tym samym kierunku skomentowane przez larsman:

12.1964105975 <- __len__ 
6.22144670823 <- len() 

C:\Python26\programas> 

Test:

def lenA(s): 
    for i in range(100): 
     len(s); 

def lenB(s): 
    for i in range(100): 
     s.__len__(); 

s = set() 

if __name__ == "__main__": 

    from timeit import timeit 
    print timeit("lenB(s)", setup="from __main__ import lenB, s") 
    print timeit("lenA(s)", setup="from __main__ import lenA, s") 

To ActivePython 2,6. 7 64bit w win7

Answer 3

jest to ciekawe spostrzeżenie o profilera, który nie ma nic wspólnego z rzeczywistym wykonywaniem funkcji len. Widzisz, w statystykach Profiler, istnieją dwie linie dotyczące lenA:

ncalls tottime percall cumtime percall filename:lineno(function) 
     1 1.986 1.986 3.830 3.830 .../lentest.py:5(lenA) 
1000000 1.845 0.000 1.845 0.000 {built-in method len} 

... podczas gdy istnieje tylko jeden wiersz dotyczący lenB:

 1 0.273 0.273 0.273 0.273 .../lentest.py:9(lenB) 

Profiler Upłynął czas każdego pojedynczego połączenia z lenA do len, ale jako całość zmienił się na lenB. Czas wywołania zawsze dodaje trochę narzut; w przypadku lenA widzisz, że ten narzut zwielokrotniony milion razy.