Alternatywy dla marynowania

Question

Próbuję serializować duże (~ 10 ** 6 wierszy, każde z ~ 20 wartościami) listy, które będą używane później przeze mnie (więc brak bezpieczeństwa dla marynarzy nie jest problemem).

Każdy wiersz listy jest krotką wartości pochodzących z pewnej bazy danych SQL. Do tej pory widziałem datetime.datetime, ciągi, liczby całkowite i NoneType, ale może ewentualnie musiałem obsługiwać dodatkowe typy danych.

Do serializacji rozważałem marynowanie (cPickle), json i zwykły tekst - ale tylko pikle zapisuje informacje o typie: json nie może serializować datetime.datetime, a zwykły tekst ma swoje oczywiste wady.

Jednak cPickle jest dość wolny w przypadku tak dużych danych i szukam szybszej alternatywy.

Wszelkie sugestie?

Dzięki!

Answer 1

Myślę, że powinieneś dać PyTables spojrzenie. To powinno być śmiesznie szybkie, przynajmniej szybsze niż używanie RDBMS, ponieważ jest bardzo luźne i nie nakłada żadnych ograniczeń odczytu/zapisu, a także dostaje lepszy interfejs do zarządzania swoimi danymi, przynajmniej w porównaniu do ich marynowania.

Answer 2

Zwykle serializuje się do zwykłego tekstu (* .csv), ponieważ znalazłem go najszybciej. Moduł csv działa bardzo dobrze. Zobacz http://docs.python.org/library/csv.html

Jeśli masz do czynienia z unikodem dla swoich ciągów, sprawdź przykłady UnicodeReader i UnicodeWriter na końcu.

Jeśli serializuje się do własnego użytku w przyszłości, wydaje mi się, że wystarczy wiedzieć, że w kolumnie csv jest taki sam typ danych (np. Ciąg zawsze znajduje się w kolumnie 2).

Answer 3

Pickle jest rzeczywiście dość szybki, o ile nie używasz (domyślnie) protokołu ASCII. Po prostu upewnij się, że zrzutu używasz protocol=pickle.HIGHEST_PROTOCOL.

Answer 4

bufory Protocol są elastyczne, wydajne zautomatyzowany mechanizm szeregowania danych strukturalną - myśleć XML, ale mniejsze, szybsze i prostsze.

przewagę nad XML:

• są prostsze
• są 3 do 10 razy mniejsze
• są 20 do 100 razy szybciej
• są mniej dwuznaczne
• wygenerować klas dostępu do danych, które są łatwiejsze używać programowo

https://developers.google.com/protocol-buffers/docs/pythontutorial

Answer 5

• Protocol Buffer - npstosowane w Caffe; utrzymuje wpisać informacje, ale trzeba postawić dość dużo wysiłku w to w porównaniu z marynowane
• MessagePack: Zobacz python package - obsługuje strumieniowe (source)
• BSON: patrz python package docs

Answer 6

Dla setek tysięcy proste (do JSON-compatible) złożoność obiektów Pythona, znalazłem najlepsze połączenie prostoty, szybkości i wielkości łącząc:

• py-ubjson
• gzip

Bije pickle i cPickle opcje o rzędy wielkości.

with gzip.open(filename, 'wb') as f: 
    ubjson.dump(items, f) 


with gzip.open(filename, 'rb') as f: 
    return ubjson.load(f)