NumPy zmiennoprzecinkowych zaokrąglania błędy

Question

Podczas poszukiwania jakiegoś numpy rzeczy, natknąłem pytanie omawiając zaokrąglania dokładność numpy.dot():

Numpy: Difference between dot(a,b) and (a*b).sum()

Ponieważ zdarza mi się mieć dwa (różne) Komputery z Haswell-CPU na biurku, który powinien dostarczyć FMA i wszystko, myślałem, że przetestuję przykład podany przez Ophiona w pierwszej odpowiedzi, i uzyskałem wynik, który nieco mnie zaskoczył:

Po aktualizacji/instalacji/ustalając lapack/blas/atlas/numpy, otrzymuję na obu maszynach:

>>> a = np.ones(1000, dtype=np.float128)+1e-14 
>>> (a*a).sum() 
1000.0000000000199999 
>>> np.dot(a,a) 
1000.0000000000199948 

>>> a = np.ones(1000, dtype=np.float64)+1e-14 
>>> (a*a).sum() 
1000.0000000000198 
>>> np.dot(a,a) 
1000.0000000000176 

Więc standardowe mnożenie + suma() jest bardziej precyzyjne niż np.dot(). timeit jednak potwierdził, że wersja .dot() jest szybsza (ale niewiele) zarówno dla float64, jak i float128.

Czy ktoś może wyjaśnić to?

edytuj: Przypadkowo usunąłem informacje o wersjach numpy: takie same wyniki dla wersji 1.9.0 i 1.9.3 z pythonem 3.4.0 i 3.4.1.

Answer 1

Wygląda na to, że ostatnio dodano specjalne Pairwise Summation do ndarray.sum w celu zwiększenia stabilności numerycznej.

Od PR 3685, wpływa to:

all add.reduce calls that go over float_add with IS_BINARY_REDUCE true 
so this also improves mean/std/var and anything else that uses sum. 

Zobacz here zmiany kodu.