Usuwanie duplikatów w języku Python

Question

Mam pytanie dotyczące usuwania duplikatów w języku Python. Przeczytałem kilka postów, ale jeszcze nie udało mi się go rozwiązać. Mam następujący plik CSV:

EDIT

Wejście:

ID, Source, 1.A, 1.B, 1.C, 1.D 
1, ESPN, 5,7,,,M 
1, NY Times,,10,12,W 
1, ESPN, 10,,Q,,M 

wyjściowe powinny być:

ID, Source, 1.A, 1.B, 1.C, 1.D, duplicate_flag 
1, ESPN, 5,7,,,M, duplicate 
1, NY Times,,10,12,W, duplicate 
1, ESPN, 10,,Q,,M, duplicate 
1, NY Times, 5 (or 10 doesn't matter which one),7, 10, 12, W, not_duplicate 

w słowach, jeśli identyfikator jest samo, weź wartości z wiersza ze źródłem "NY Times", jeśli r ow przy "NY Times" ma pustą wartość, a zduplikowany wiersz ze źródła "ESPN" ma wartość dla tej komórki, pobierz wartość z wiersza ze źródłem "ESPN". Aby uzyskać wyjście, oznacz flagą dwa oryginalne wiersze jako duplikaty i utwórz trzecią linię.

Aby wyjaśnić nieco dalej, bo trzeba uruchomić skrypt na wielu różnych plików csv z różnymi nagłówkami kolumn, nie mogę zrobić coś takiego:

def main(): 
     with open(input_csv, "rb") as infile: 
      input_fields = ("ID", "Source", "1.A", "1.B", "1.C", "1.D") 
      reader = csv.DictReader(infile, fieldnames = input_fields) 
      with open(output_csv, "wb") as outfile: 
       output_fields = ("ID", "Source", "1.A", "1.B", "1.C", "1.D", "d_flag") 
       writer = csv.DictWriter(outfile, fieldnames = output_fields) 
       writer.writerow(dict((h,h) for h in output_fields)) 
       next(reader) 
       first_row = next(reader) 
       for next_row in reader: 
        #stuff 

Ponieważ chcę program do uruchomienia na dwie pierwsze kolumny niezależnie od innych kolumn w tabeli. Innymi słowy, "ID" i "Źródło" będą w każdym pliku wejściowym, ale reszta kolumn zmieni się w zależności od pliku.

Bardzo doceniam każdą pomoc, którą możesz zapewnić! FYI, "Źródło" może być tylko: NY Times, ESPN lub Wall Street Journal, a kolejność priorytetów dla duplikatów jest: wziąć NY Times, jeśli jest dostępna, w przeciwnym razie wziąć ESPN, inaczej wziąć Wall Street Journal. Dotyczy to każdego pliku wejściowego.

Answer 1

Poniższy kod odczytuje wszystkie rekordy do dużego słownika, którego klucze są ich identyfikatorami i których wartości to słowniki odwzorowujące nazwy źródłowe na całe wiersze danych. Następnie przechodzi przez słownik i podaje wynik, o który prosiłeś.