Jak przechowywać przedmioty ze złomu w formacie json?

Question

Próbuję przechowywać scrapyd przedmiotów w JSON file. Właściwie przez domyślnych elementów zapisać go w pliku json ale tak: File_1:

{item1} 
{item2} 
.... 

A jeśli uruchomię mój pająk przez scrapy indeksowania spidername -o fileName -t json

będzie przechowywać przedmiot tak : File_2:

[{item1}, 
{item2}, 
....] 

Gdy próbuję skopiować wklejania zawartości File_1 do jsonParser dostałem mówiąc oczekuje błąd [ ale File_2 działa dobrze. Czy ktoś może mi powiedzieć, jak przechowywać elementy w odpowiednim formacie JSON przy użyciu zgrywania

Answer 1

Spróbuj zapisać elementy bezpośrednio do bazy danych, a następnie zapisując je w pliku .... następnie przechowując elementy z pliku do bazy danych. .. lub spróbować przeczytać wiersz po wierszu z tego pliku JSON, a następnie zrobić to, co kiedykolwiek chcesz zamiast czytać cały plik na raz ...

Answer 2

Faktycznie jego format j son lines, json nie jest dobry dla danych o bardzo dużej wartości. to dlatego scrapy rozdzielają każdy item w formacie przecinka. możesz dodać [ & ] na początku i na końcu pliku, będzie to json, następnie

Answer 3

Dodaj do settings.py:

FEED_FORMAT='json'