Zachowanie NaNs z nierównościami ramek danych pandy

Question

Mam obiekt pandas.DataFrame, który zawiera około 100 kolumn i 200000 wierszy danych. Próbuję przekonwertować go do ramek danych bool gdzie True oznacza, że ​​wartość jest większa niż próg, False oznacza, że ​​jest mniejsza, a wartości NaN są utrzymywane.

Jeśli nie ma wartości NaN, trwa około 60 ms dla mnie do uruchomienia:

df >= threshold 

Ale gdy próbuję radzić sobie z Nans, poniższa metoda działa, ale jest bardzo powolny (20 sek).

def func(x): 
    if x >= threshold: 
     return True 
    elif x < threshold: 
     return False 
    else: 
     return x 
df.apply(lambda x: x.apply(lambda x: func(x))) 

Czy jest szybszy sposób?

Answer 1

można zrobić:

new_df = df >= threshold 
new_df[df.isnull()] = np.NaN 

Ale to jest inny od tego, co dostaniesz za pomocą zastosowania metody. Tutaj twoja maska ​​ma zmiennoprzecinkowe dtype zawierające NaN, 0.0 i 1.0. W stosowanym rozwiązaniu otrzymujesz object dtyp z NaN, False i True.

Żadne z nich nie może być używane jako maska, ponieważ możesz nie dostać tego, czego chcesz. IEEE mówi, że każde porównanie NaN musi dawać Fałsz, a metoda stosowania jest domyślnie naruszeniem tego, zwracając NaN!

Najlepszym rozwiązaniem jest osobne śledzenie NaN, a df.isnull() jest dość szybki, gdy zainstalowane jest wąskie gardło.

Answer 2

Można sprawdzić Koncepcja nieliczby oddzielnie za pomocą tego posta: Python - find integer index of rows with NaN in pandas

df.isnull() 

połączyć wyjście isnull z df >= threshold używając bitowego lub:

df.isnull() | df >= threshold 

Można oczekiwać, że dwie maski do podjęcia bliżej 200 ms do obliczenia i połączenia, ale to powinno być wystarczająco daleko od 20 lat, aby było OK.

Answer 3

W tej sytuacji używam tablicy wskaźnikowej z wartościami zmiennymi zakodowanymi jako: 0 = False, 1 = True, a NaN = missing. Pandas DataFrame z bool dtype nie może mieć brakujących wartości, a DataFrame z typem object dtrzymującym mieszankę obiektów bool i float w języku Python nie jest wydajne. To prowadzi nas do korzystania z DataFrames z dtypem np.float64. numpy.sign(x - threshold) daje -1 = (x < próg), 0 = (x == próg) i +1 = (x> próg) dla twojego porównania, które może być wystarczająco dobre dla twoich celów, ale jeśli naprawdę potrzebujesz 0/1 kodowania , konwersja może być wykonana na miejscu. Czasy poniżej są na tablicy 200K długości x:

In [45]: %timeit y = (x > 0); y[pd.isnull(x)] = np.nan 
100 loops, best of 3: 8.71 ms per loop 

In [46]: %timeit y = np.sign(x) 
100 loops, best of 3: 1.82 ms per loop 

In [47]: %timeit y = np.sign(x); y += 1; y /= 2 
100 loops, best of 3: 3.78 ms per loop