Otwieranie dużego pliku JSON w Pythonie

Question

Mam plik JSON o wielkości 1.7 GB, gdy próbuję otworzyć z json.load(), to daje on błąd pamięci, Jak mógł odczytać plik json w pythonie?

Mój plik JSON to duża tablica obiektów zawierających określone klucze.

EDYCJA: Cóż, jeśli jest to tylko jedna duża tablica obiektów i znana jest wcześniej struktura obiektów, to nie ma potrzeby używania narzędzi, które można odczytać wiersz po wierszu. Linia będzie zawierać tylko jeden element tablicy. Zauważyłem, że jest to sposób są przechowywane pliki json, dla mnie to działało jak tylko

>>>for line in open('file.json','r').readline(): 
... do something with(line) 

Answer 1

Chcesz przyrostową json parser jak yajl a jednym z jej powiązaniami Pythona. Inkrementalny analizator składni odczytuje tak mało jak to możliwe z danych wejściowych i wywołuje wywołanie zwrotne, gdy coś znaczącego zostanie zdekodowane. Na przykład, aby wyciągnąć tylko cyfry od dużego pliku json:

class ContentHandler(YajlContentHandler): 
    def yajl_number(self, ctx, val): 
     list_of_numbers.append(float(val)) 

parser = YajlParser(ContentHandler()) 
parser.parse(some_file) 

Zobacz http://pykler.github.com/yajl-py/ aby uzyskać więcej informacji.

Answer 2

Znalazłem kolejną owijkę Pythona wokół biblioteki yajl, która jest ijson.

To działa dla mnie lepiej niż yajl-py z powodu następujących powodów:

• yajl-py nie wykrywa biblioteki yajl w moim systemie, miałem hack kod, aby to działało
• Kod ijson jest bardziej zwarta i łatwiejsze w użyciu
• ijson może pracować zarówno yajl v1 i v2 yajl, i to nawet ma czysty python wymiana yajl
• ijson ma bardzo ładne ObjectBuilder, która pomaga wydobycia n ot tylko wydarzenia, ale znaczące podrzędne obiekty z analizowany strumienia, jak i na poziomie określić

Answer 3

znalazłem yajl (stąd ijson) się znacznie wolniej niż moduł json gdy duży plik danych był dostępny z lokalnego dysku. Tutaj jest modułem, który twierdzi, że lepiej niż yajl/ijson (jeszcze wolniej niż json), gdy używane z Cython:

http://pietrobattiston.it/jsaone

jako autor zaznacza, wydajność może być lepiej niż json gdy plik jest odbierane przez sieć, ponieważ inkrementalny analizator składni może rozpocząć przetwarzanie wcześniej.

Answer 4

Oto kolejny przyrostowy analizator składni JSON.

https://pypi.python.org/pypi/jsonstream/1.0.0

nie zostały wykorzystane.