python pandy: Usuń duplikaty według kolumn A, zachowując wiersz o najwyższej wartości w kolumnie B

Question

Mam ramkę danych z wartościami powtórzeń w kolumnie A. Chcę usunąć duplikaty, zachowując wiersz o najwyższej wartości w kolumnie B.

Więc tak:

A B 
1 10 
1 20 
2 30 
2 40 
3 10 

powinien przekształcić się w ten sposób:

A B 
1 20 
2 40 
3 10 

Wes dodał kilka ciekawych funkcjonalności do spadku duplikaty: http://wesmckinney.com/blog/?p=340. Ale AFAICT, jest przeznaczony do dokładnych duplikatów, więc nie ma żadnej wzmianki o kryteriach wyboru, które wiersze zostaną zachowane.

Zgaduję, że prawdopodobnie jest to prosty sposób - może tak łatwo jak sortowanie ramek danych przed upuszczeniem duplikatów --- ale nie znam wewnętrznej logiki groupby na tyle dobrze, aby to zrozumieć. Jakieś sugestie?

Answer 1

ten trwa ostatni. Nie maksymalna choć:

In [10]: df.drop_duplicates(subset='A', keep="last") 
Out[10]: 
    A B 
1 1 20 
3 2 40 
4 3 10 

Można zrobić też coś takiego:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()]) 
Out[12]: 
    A B 
A  
1 1 20 
2 2 40 
3 3 10 

Answer 2

ja nie zamierzam dać ci całą odpowiedź (nie sądzę szukasz analizowania i zapisywania do pliku części tak), ale kluczową wskazówkę powinno wystarczyć: set() funkcji w Pythonie, a następnie sorted() lub .sort() połączeniu z .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30])) 
>>> a 
[10, 20, 30, 50, 60] 
>>> a.reverse() 
>>> a 
[60, 50, 30, 20, 10] 

Answer 3

Spróbuj tego:

df.groupby(['A']).max() 

Answer 4

Górny odpowiedź robi zbyt dużo pracy i wydaje się być bardzo powolne dla dużych zbiorów danych. apply jest powolny i powinno się go unikać, jeśli to możliwe. ix jest przestarzałe i należy go również unikać.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index() 

    A B 
1 1 20 
3 2 40 
4 3 10 

Lub po prostu pogrupuj według wszystkich pozostałych kolumn i weź maksimum kolumny, której potrzebujesz. df.groupby('A', as_index=False).max()

Answer 5

to działa również:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')  ['B'].max().values}) 

Answer 6

Można spróbować także

df.drop_duplicates(subset='A', keep='last') 

odniosłem to od https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

Answer 7

Myślę, że w twoim przypadku tak naprawdę nie potrzebują Grupuj według. Chciałbym sortować według malejącej swoją kolumnę B, a następnie upuść duplikaty w kolumnie A i jeśli chcesz, możesz też mieć nowe ładne i czysty indeks tak:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)