Najszybszy sposób dedupe listy w dyktafonie

Question

Mam dyktować listy i potrzebuję szybkiego sposobu na dedupe list.

Wiem, jak dedupe listę w izolacji za pomocą funkcji set(), ale w tym przypadku chcę szybki sposób iteracji przez dykt, deduputując każdą listę na drodze.

hello = {'test1':[2,3,4,2,2,5,6], 'test2':[5,5,8,4,3,3,8,9]} 

Chciałbym, żeby wyglądało jak;

hello = {'test1':[2,3,4,5,6], 'test2':[5,8,4,3,9]} 

Chociaż niekoniecznie muszę mieć zachowany pierwotny porządek list.

Próbowałem przy użyciu zestawu takiego, ale nie jest to całkiem poprawne (nie jest iteracja prawidłowo i tracę pierwszy klucz)

for key, value in hello.items(): goodbye = {key: set(value)} 
>>> goodbye 
{'test2': set([8, 9, 3, 4, 5])} 

EDIT: Po komentarza premiera 2Ring jest poniżej, Teraz zapełniam dyktando inaczej, niż unikam duplikatów. Poprzednio używałem list, ale używanie zestawów zapobiega domyślnemu dodawaniu duplikatów;

>>> my_numbers = {} 
>>> my_numbers['first'] = [1,2,2,2,6,5] 
>>> from collections import defaultdict 
>>> final_list = defaultdict(set) 
>>> for n in my_numbers['first']: final_list['test_first'].add(n) 
... 
>>> final_list['test_first'] 
set([1, 2, 5, 6]) 

Jak widać, ostateczne wyjście jest zbiorem dedupowanym, zgodnie z wymaganiami.

Answer 1

To nie iteracja źle, jesteś po prostu przypisanie do widzenia jako nowy dict każdym razem. Musisz przypisać jako pusty dict, a następnie przypisać wartości do kluczy w każdej iteracji.

goodbye = {} 
for key, value in hello.items(): goodbye[key] = set(value) 
>>> goodbye 
{'test1': set([2, 3, 4, 5, 6]), 'test2': set([8, 9, 3, 4, 5])} 

Ponadto, ponieważ zbiory nie zachować porządek, jeśli chce zachować porządek to najlepiej zrobić prostą funkcję iteracji że powróci nową listę, która pomija już wartości dodanych.

def uniqueList(li): 
    newList = [] 
    for x in li: 
     if x not in newList: 
      newList.append(x) 
    return newList 


goodbye = {} 
for key, value in hello.items(): goodbye[key] = uniqueList(value) 
>>> goodbye 
{'test1': [2, 3, 4, 5, 6], 'test2': [5, 8, 4, 3, 9]} 

Answer 2

Można użyć wyrażeń listowych z deduplicate funkcji, która zachowuje kolejność:

def deduplicate(seq): 
    seen = set() 
    seen_add = seen.add 
    return [ x for x in seq if not (x in seen or seen_add(x))] 

{key: deduplicate(value) for key, value in hello.items()} 

Answer 3

Jest to bardziej rozwlekły sposób z tym, który zachowuje porządek i działa we wszystkich wersjach Pythona:

for key in hello: 
    s = set() 
    l = [] 
    for subval in hello[key]: 
     if subval not in s: 
      l.append(subval) 
      s.add(subval) 
    hello[key] = l 

Answer 4

my_list = [1,2,2,2,3,4,5,6,7,7,7,7,7,8,9,10] 
seen = set() 
print list(filter(lambda x:x not in seen and not seen.add(x),my_list)) 

Answer 5

>>>hello = {'test1':[2,3,4,2,2,5,6], 'test2':[5,5,8,4,3,3,8,9]}  
>>>for key,value in hello.iteritems(): 
     hello[key] = list(set(value)) 
>>>hello 
{'test1': [2, 3, 4, 5, 6], 'test2': [8, 9, 3, 4, 5]}