wstawianie lub ignorowanie wielu dokumentów w mongoDB

Question

Mam kolekcję, w której wszystkie moje dokumenty mają co najmniej te 2 pola, na przykład name i url (gdzie url jest unikalny, więc ustawiłem na nim unikalny indeks). Teraz, jeśli spróbuję wstawić dokument z duplikatem url, spowoduje to błąd i zatrzyma program. Nie chcę tego zachowania, ale potrzebuję czegoś takiego jak mysql 's insert or ignore, więc mongoDB nie powinien wstawiać dokumentu z duplikatem url i kontynuować z następnymi dokumentami.

Czy jest jakiś parametr, który można przekazać do polecenia insert w celu uzyskania tego zachowania? I ogólnie zrobić partię wkładek korzystających pymongo jako:

collection.insert(document_array) 

Tutaj collection jest zbieranie i document_array jest tablicą dokumentów.

Czy jest jakiś sposób wdrożenia funkcji insert or ignore dla wielu dokumentów?

Answer 1

Dlaczego po prostu nie dzwonisz pod numer w bloku try: ... except: i nie kontynuujesz, jeśli wstawka się nie powiedzie?

Ponadto można również użyć zwykłego połączenia update() z flagą upsert. Szczegóły tutaj: http://www.mongodb.org/display/DOCS/Updating#Updating-update%28%29

Answer 2

Jeśli masz już tablicę dokumentów w pamięci w swoim skrypcie Pythona, dlaczego nie wstawić ich przez iterację za ich pośrednictwem, a po prostu złapać te, które zawierują się podczas wstawiania z powodu unikalnego indeksu?

for doc in docs: 
    try: 
    collection.insert(doc) 
    except pymongo.errors.DuplicateKeyError: 
    print 'Duplicate url %s' % doc 

Jeżeli zbiór jest instancją kolekcji stworzonej z połączeniem instancji baz danych i/docs jest tablica słowników (dokumenty) byś być obecnie przechodząc do wstawienia.

Możesz również zdecydować, co zrobić z duplikatami kluczy, które naruszają unikatowy indeks w bloku except.

Answer 3

Jest wysoce zalecane, aby użyć upsert

stat.update({'location': d['user']['location']}, \ 
     {'$inc': {'count': 1}},upsert = True, safe = True) 

Tutaj stat jest kolekcja jeśli lokalizacja gość jest już obecny w kolekcji, count jest zwiększana o jeden, inny count jest ustawiony na 1.

Oto link do dokumentacji http://www.mongodb.org/display/DOCS/Updating#Updating-UpsertswithModifiers

Answer 4

Co robię:

1. wygenerować tablicę identyfikatorów MongoDB chcę wstawić (hash pewnych wartości w moim przypadku)
2. usunąć istniejące identyfikatory (Używam wydajności bcoz kolejki Redis, ale możesz zapytać o mongo)
3. Włóż wyczyszczone dane!

Redis jest idealnym miejscem na to, można użyć Memcached lub MySQL pamięć, według swoich potrzeb

Answer 5

Spróbuj tego:

try: 
    coll.insert(
     doc_or_docs=doc_array, 
     continue_on_error=True) 
except pymongo.errors.DuplicateKeyError: 
    pass 

Operacja wkładka będzie nadal wyjątek jeśli wystąpi błąd insert (np. próba wstawienia duplikatu dla unikalnego indeksu), ale nie wpłynie to na inne pozycje w tablicy. Następnie możesz połknąć błąd, jak pokazano powyżej.

Answer 6

Ustawienie flagi continue_on_error podczas wywoływania insert(). Uwaga PyMongo kierowca serwer wersja 2.1 i 1.9.1 są wymagane:

continue_on_error (opcjonalnie): Jeśli prawda, że ​​baza danych nie zatrzyma przetwarzania zbiorczego wkładkę jeśli nie powiedzie się (na przykład ze względu na powielać identyfikatory). To sprawia, że ​​wkładka zbiorcza zachowuje się podobnie do serii pojedynczych wkładek, , z wyjątkiem lastError zostanie ustawiony, jeśli jakikolwiek insert się nie powiedzie, a nie tylko ostatni jeden. Jeśli wystąpi wiele błędów, tylko najnowszy zostanie zgłoszony przez błąd().

Answer 7

Użyj funkcji insert_many() i ustaw ordered = False.

To zapewni, że wszystkie operacje zapisu są próbował, nawet jeśli istnieją błędy: http://api.mongodb.org/python/current/api/pymongo/collection.html#pymongo.collection.Collection.insert_many