Złomowanie: przechowywanie danych

Question

Jestem nowy w Pythonie i scrapy. Próbuję śledzić samouczek Scrapy, ale nie rozumiem logiki storage step.

scrapy crawl spidername -o items.json -t json 

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv 

dont zrozumieć istotności:

• -o
• -t
• --set

Dziękuję za pomoc

Answer 1

Można wyświetl listę dostępnych poleceń, wpisując scrapy crawl -h z katalogu projektu.

scrapy crawl spidername -o items.json -t json 

• -o określa nazwę pliku wyjściowego dla elementów dumpingowych (items.json)
• -t określa format przedmioty dumping (JSON)

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

• --set jest służy do ustawiania/zastępowania ustawienia
• FEED_URI służy do ustawiania mechanizmu przechowywania dla wysypywania przedmiotów. W tym przypadku jest ustawiony na "output.csv", który używa lokalnego systemu plików, tj. Prosty plik wyjściowy. (Dla bieżącego przykładu - output.csv)
• FEED_FORMAT służy do ustawienia formatu serializacji dla (wyjściowego) kanału to jest (na przykład prąd CSV)

Odniesienia (dokumentacja Scrapy)

1. Available tool commands (for the command line)
2. Feed exports