pandy concat tablice na GroupBy

Question

Mam DataFrame który został utworzony przez grupę przez z:

agg_df = df.groupby(['X', 'Y', 'Z']).agg({ 
    'amount':np.sum, 
    'ID': pd.Series.unique, 
}) 

Po zastosowałem trochę filtrowanie na agg_df Chcę Concat identyfikatory

agg_df = agg_df.groupby(['X', 'Y']).agg({ # Z is not in in groupby now 
    'amount':np.sum, 
    'ID': pd.Series.unique, 
}) 

Ale pojawia błąd przy drugim 'ID': pd.Series.unique:

ValueError: Function does not reduce 

Jako przykład dataframe przed th e sekund GroupBy jest:

   |amount| ID | 
-----+----+----+------+-------+ 
    X | Y | Z |  |  | 
-----+----+----+------+-------+ 
    a1 | b1 | c1 | 10 | 2  | 
    | | c2 | 11 | 1  | 
    a3 | b2 | c3 | 2 | [5,7] | 
    | | c4 | 7 | 3  | 
    a5 | b3 | c3 | 12 | [6,3] | 
    | | c5 | 17 | [3,4] | 
    a7 | b4 | c6 | 2 | [8,9] | 

oraz oczekiwany wynik powinien być

  |amount| ID  | 
-----+----+------+-----------+ 
    X | Y |  |   | 
-----+----+------+-----------+ 
    a1 | b1 | 21 | [2,1]  | 
    a3 | b2 | 9 | [5,7,3] | 
    a5 | b3 | 29 | [6,3,4] | 
    a7 | b4 | 2 | [8,9]  | 

Kolejność końcowych identyfikatorów nie jest ważne.

Edytuj: Wymyśliłem jedno rozwiązanie. Ale jego nie całkiem elegancki:

def combine_ids(x): 
    def asarray(elem): 
     if isinstance(elem, collections.Iterable): 
     return np.asarray(list(elem)) 
     return elem 

    res = np.array([asarray(elem) for elem in x.values]) 
    res = np.unique(np.hstack(res)) 
    return set(res) 

agg_df = agg_df.groupby(['X', 'Y']).agg({ # Z is not in in groupby now 
    'amount':np.sum, 
    'ID': combine_ids, 
}) 

Edit2: Innym rozwiązaniem, które działa w moim przypadku jest:

combine_ids = lambda x: set(np.hstack(x.values)) 

Edit3: Wydaje się, że nie jest możliwe, aby uniknąć set() jako wartość wynikowa, wynikająca z wdrożenia implementacji funkcji agregacji Pand. Szczegóły w https://stackoverflow.com/a/16975602/3142459

Answer 1

Jeśli grzywny za pomocą zestawów jako typ (które prawdopodobnie), a potem pójdę z:

agg_df = df.groupby(['x','y','z']).agg({ 
    'amount': np.sum, 'id': lambda s: set(s)}) 
agg_df.reset_index().groupby(['x','y']).agg({ 
    'amount': np.sum, 'id': lambda s: set.union(*s)}) 

... który pracuje dla mnie. Z jakiegoś powodu działa lambda s: set(s), ale zestaw nie działa (domyślam się, że panda nie robi poprawnie pisania na klawiaturze).

Jeśli dane jest duża, prawdopodobnie będziesz chciał następujące zamiast lambda s: set.union(*s):

from functools import reduce 
# can't partial b/c args are positional-only 
def cheaper_set_union(s): 
    return reduce(set.union, s, set()) 

Answer 2

Gdy funkcja agregacji zwraca Series, pandy nie musi wiedzieć, że chcesz zapakowane w jednej komórce . Jako bardziej ogólne rozwiązanie, po prostu wyraźnie przymknij wynik do listy.

agg_df = df.groupby(['X', 'Y', 'Z']).agg({ 
    'amount':np.sum, 
    'ID': lambda x: list(x.unique()), 
})