wartości ustawienie na Pandy DataFrame podzbioru (kopia) jest powolny

Question

import timeit 
import pandas as pd 
import numpy as np 

df = pd.DataFrame(np.random.rand(10, 10)) 

dft = df[[True, False] * 5] 
# df = dft 
dft2 = dft.copy() 

new_data = np.random.rand(5, 10) 

print(timeit.timeit('dft.loc[:, :] = new_data', setup='from __main__ import dft, new_data', number=100)) 
print(timeit.timeit('dft2.loc[:, :] = new_data', setup='from __main__ import dft2, new_data', number=100)) 

Na moich wartości ustawień laptopów w dft (oryginał podzbiór) jest około 160 razy wolniej niż ustawienie wartości w dft2 (głęboka kopia dft).

Dlaczego tak się dzieje?

Edytuj: Usunięto spekulacje na temat obiektów proxy.

Jako c. sugeruje skóra, jest to prawdopodobnie spowodowane inną ścieżką kodowania podczas ustawiania wartości na kopii (dft) w porównaniu z oryginalną ramką danych (dft2).

Dodatkowe pytanie: usunięcie odniesienia do oryginalnej ramki DataFrame df (przez odkomentowanie linii df = dft), zmniejsza współczynnik prędkości do około 2 na moim laptopie. Czy masz jakieś pojęcie, dlaczego tak się dzieje?

Answer 1

To nie jest nowe pytanie na SO. This i this są powiązane posty. This is the link to the current docs który to wyjaśnia.

Komentarze od @ c.leather są na właściwej ścieżce. Problem polega na tym, że dft jest widokiem, a nie kopią ramki danych df, jak wyjaśniono w połączonych artykułach. Ale pandy nie mogą wiedzieć, czy to naprawdę kopia, czy też operacja jest bezpieczna, czy też nie, i jako że jest wiele kontroli, aby upewnić się, że wykonanie zadania jest bezpieczne i można tego uniknąć, po prostu zrobienie kopii.

Jest to istotny problem i cała dyskusja jest dostępna pod adresem Github. Widziałem wiele sugestii, najbardziej podoba mi się to, że doktorzy powinni zachęcać do idiomu df[[True,False] * 5].copy(), można go nazwać kodem plastra &.

Nie mogłem znaleźć dokładnych czeków, a na problemie github ten niuans wydajności jest wspomniany tylko przez kilka tweetów napisanych przez kilku programistów, zwracających uwagę na zachowanie. Może ktoś bardziej zaangażowany w rozwój pandy może dodać więcej danych wejściowych.