Agregacja pand ignorując NaN's

Question

Łączę moją ramkę danych Pandy: data. W szczególności chcę uzyskać średnią i sumę amount s przez krotki z [origin i type]. Dla uśredniania i zsumowanie Próbowałem funkcji NumPy poniżej:

import numpy as np 
import pandas as pd 
result = data.groupby(groupbyvars).agg({'amount': [ pd.Series.sum, pd.Series.mean]}).reset_index() 

Mój problem jest, że kolumna amount obejmuje NaN s, co powoduje result powyższego kodu, aby mieć dużo NaN średnie i sum.

Domyślnie wiem, że pd.Series.sum i pd.Series.mean mają domyślnie skipna=True, więc dlaczego wciąż mam tutaj NaN?

Próbowałem też to, co oczywiście nie działa:

data.groupby(groupbyvars).agg({'amount': [ pd.Series.sum(skipna=True), pd.Series.mean(skipna=True)]}).reset_index() 

EDIT: Po użytkownika @ Korem sugestią, próbowałem też użyć partial jak poniżej:

s_na_mean = partial(pd.Series.mean, skipna = True)  
data.groupby(groupbyvars).agg({'amount': [ np.nansum, s_na_mean ]}).reset_index() 

ale ten błąd:

error: 'functools.partial' object has no attribute '__name__' 

Answer 1

Zastosowanie numpy na nansum i nanmean:

from numpy import nansum 
from numpy import nanmean 
data.groupby(groupbyvars).agg({'amount': [ nansum, nanmean]}).reset_index() 

Jako obejście dla starszych wersji numpy, a także sposób, aby naprawić swój ostatni spróbować:

Kiedy robisz pd.Series.sum(skipna=True) rzeczywiście wywołać metodę. Jeśli chcesz go użyć w ten sposób, chcesz zdefiniować partial. Więc jeśli nie masz nanmean, niech określić s_na_mean i używać:

from functools import partial 
s_na_mean = partial(pd.Series.mean, skipna = True)