Jaki jest odpowiednik cut/qcut dla pól daty pandy?

Question

Aktualizacja: począwszy od wersji 0.20.0, cięcie pand/qcut obsługuje pola daty. Aby uzyskać więcej informacji, patrz What's New.

pd.cut i pd.qcut teraz obsługują datetime64 i timedelta64 dtypes (GH14714, GH14798)

Oryginalne pytanie: Pandas cięte i qcut funkcje są świetne dla 'bucketing' ciągłych danych dla używać w tabelach przestawnych itd., ale nie widzę łatwego sposobu na uzyskanie osi czasu w miksie. Frustrujące, odkąd pandy są tak wspaniałe we wszystkich kwestiach związanych z czasem!

Oto prosty przykład:

def randomDates(size, start=134e7, end=137e7): 
    return np.array(np.random.randint(start, end, size), dtype='datetime64[s]') 

df = pd.DataFrame({'ship' : randomDates(10), 'recd' : randomDates(10), 
        'qty' : np.random.randint(0,10,10), 'price' : 100*np.random.random(10)}) 
df 

    price  qty recd    ship 
0 14.723510 3 2012-11-30 19:32:27 2013-03-08 23:10:12 
1 53.535143 2 2012-07-25 14:26:45 2012-10-01 11:06:39 
2 85.278743 7 2012-12-07 22:24:20 2013-02-26 10:23:20 
3 35.940935 8 2013-04-18 13:49:43 2013-03-29 21:19:26 
4 54.218896 8 2013-01-03 09:00:15 2012-08-08 12:50:41 
5 61.404931 9 2013-02-10 19:36:54 2013-02-23 13:14:42 
6 28.917693 1 2012-12-13 02:56:40 2012-09-08 21:14:45 
7 88.440408 8 2013-04-04 22:54:55 2012-07-31 18:11:35 
8 77.329931 7 2012-11-23 00:49:26 2012-12-09 19:27:40 
9 46.540859 5 2013-03-13 11:37:59 2013-03-17 20:09:09 

bin według grup ceny lub ilości, mogę wykorzystać cięcie/qcut je wieloczynnościowy:

df.groupby([pd.cut(df['qty'], bins=[0,1,5,10]), pd.qcut(df['price'],q=3)]).count() 

         price qty recd ship 
qty  price    
(0, 1] [14.724, 46.541] 1 1 1 1 
(1, 5] [14.724, 46.541] 2 2 2 2 
     (46.541, 61.405] 1 1 1 1 
(5, 10] [14.724, 46.541] 1 1 1 1 
     (46.541, 61.405] 2 2 2 2 
     (61.405, 88.44] 3 3 3 3 

Ale nie widzę jakiś prosty sposób robienia tego samego z polami daty "recd" lub "ship". Na przykład wygeneruj podobną tabelę zliczeń w podziale na (powiedzmy) miesięczne wiadra recd i statku. Wygląda na to, że resample() ma wszystkie maszyny, które mogą być zapełnione okresami, ale nie mogę wymyślić, jak zastosować to tutaj. Wiadra (lub poziomy) w "wycinku dnia" byłyby odpowiednikiem elementu pandas.PeriodIndex, a następnie chcę oznaczyć każdą wartość df ['recd'] z okresem, w którym się znajduje?

Więc rodzaj wyjścia szukam byłoby coś takiego:

ship recv  count 
2011-01 2011-01 1 
     2011-02 3 
     ...  ... 
2011-02 2011-01 2 
     2011-02 6 
...  ...  ... 

Bardziej ogólnie, chciałbym, aby móc łączyć ze zmiennych ciągłych lub kategorycznych na wyjściu. Wyobraźmy sobie, df zawiera również kolumnie „Stan” z Red/Yellow/wartości zielonych, to może chcę podsumować liczbę według statusu, cena wiadra, statek i recd wiadra, więc:

ship recv  price status count 
2011-01 2011-01 [0-10) green  1 
          red  4 
       [10-20) yellow  2 
        ...  ... ... 
     2011-02 [0-10) yellow  3 
     ...  ...  ... ... 

jako pytanie premiowej, co najprostszy sposób modyfikacji wyniku groupby() powyżej, aby zawierał tylko jedną kolumnę wyjściową o nazwie "count"?

Answer 1

Oto rozwiązanie przy użyciu pandas.PeriodIndex (caveat: PeriodIndex nie wydaje się obsługiwać reguły czasu z wielokrotnością> 1, na przykład "4M"). Myślę, że odpowiedź na twoje pytanie dodatkowe to .size().

In [49]: df.groupby([pd.PeriodIndex(df.recd, freq='Q'), 
    ....:    pd.PeriodIndex(df.ship, freq='Q'), 
    ....:    pd.cut(df['qty'], bins=[0,5,10]), 
    ....:    pd.qcut(df['price'],q=2), 
    ....:   ]).size() 
Out[49]: 
       qty  price 
2012Q2 2013Q1 (0, 5] [2, 5] 1 
2012Q3 2013Q1 (5, 10] [2, 5] 1 
2012Q4 2012Q3 (5, 10] [2, 5] 1 
     2013Q1 (0, 5] [2, 5] 1 
       (5, 10] [2, 5] 1 
2013Q1 2012Q3 (0, 5] (5, 8] 1 
     2013Q1 (5, 10] (5, 8] 2 
2013Q2 2012Q4 (0, 5] (5, 8] 1 
     2013Q2 (0, 5] [2, 5] 1 

Answer 2

wystarczy ustawić indeks dziedzinie chcesz resample przez, oto kilka przykładów

In [36]: df.set_index('recd').resample('1M',how='sum') 
Out[36]: 
       price qty 
recd      
2012-07-31 64.151194 9 
2012-08-31 93.476665 7 
2012-09-30 94.193027 7 
2012-10-31   NaN NaN 
2012-11-30   NaN NaN 
2012-12-31 12.353405 6 
2013-01-31   NaN NaN 
2013-02-28 129.586697 7 
2013-03-31   NaN NaN 
2013-04-30   NaN NaN 
2013-05-31 211.979583 13 

In [37]: df.set_index('recd').resample('1M',how='count') 
Out[37]: 
2012-07-31 price 1 
      qty  1 
      ship  1 
2012-08-31 price 1 
      qty  1 
      ship  1 
2012-09-30 price 2 
      qty  2 
      ship  2 
2012-10-31 price 0 
      qty  0 
      ship  0 
2012-11-30 price 0 
      qty  0 
      ship  0 
2012-12-31 price 1 
      qty  1 
      ship  1 
2013-01-31 price 0 
      qty  0 
      ship  0 
2013-02-28 price 2 
      qty  2 
      ship  2 
2013-03-31 price 0 
      qty  0 
      ship  0 
2013-04-30 price 0 
      qty  0 
      ship  0 
2013-05-31 price 3 
      qty  3 
      ship  3 
dtype: int64 

Answer 3

Jak na temat korzystania Series i oddanie części DataFrame, że jesteś zainteresowany w tym, następnie wywołanie cut na obiekcie serii?

price_series = pd.Series(df.price.tolist(), index=df.recd) 

a następnie

pd.qcut(price_series, q=3) 

i tak dalej. (Chociaż myślę, że odpowiedź @ Jeff jest najlepsza)

Answer 4

Wpadłem na pomysł, który opiera się na bazowym formacie przechowywania datetime64 [ns].Jeśli zdefiniujemy dcut() jak to

def dcut(dts, freq='d', right=True): 
    hi = pd.Period(dts.max(), freq=freq) + 1 # get first period past end of data 
    periods = pd.PeriodIndex(start=dts.min(), end=hi, freq=freq) 
    # get a list of integer bin boundaries representing ns-since-epoch 
    # note the extra period gives us the extra right-hand bin boundary we need 
    bounds = np.array(periods.to_timestamp(how='start'), dtype='int') 
    # bin our time field as integers 
    cut = pd.cut(np.array(dts, dtype='int'), bins=bounds, right=right) 
    # relabel the bins using the periods, omitting the extra one at the end 
    cut.levels = periods[:-1].format() 
    return cut 

Wtedy możemy zrobić to, co chciałem:

df.groupby([dcut(df.recd, freq='m', right=False),dcut(df.ship, freq='m', right=False)]).count() 

Aby uzyskać:

   price qty recd ship 
2012-07 2012-10 1 1 1 1 
2012-11 2012-12 1 1 1 1 
     2013-03 1 1 1 1 
2012-12 2012-09 1 1 1 1 
     2013-02 1 1 1 1 
2013-01 2012-08 1 1 1 1 
2013-02 2013-02 1 1 1 1 
2013-03 2013-03 1 1 1 1 
2013-04 2012-07 1 1 1 1 
     2013-03 1 1 1 1 

Chyba można podobnie zdefiniować dqcut(), która najpierw "zaokrągla" każdą wartość datetime do liczby całkowitej reprezentującej początek jej okresu zawierającego (na określonej częstotliwości), a następnie używa qcut() do wyboru spośród tych granic. Lub czy qcut() najpierw na surowych wartościach całkowitych i wokół wynikowych pojemników na podstawie wybranej częstotliwości?

Brak radości na pytanie o bonus? :)