Złomowanie: Ograniczenie liczby bajtów żądania lub żądania

Question

Używam skrobaka CrawlSpider i zdefiniowałem skręcony reaktor do kontrolowania mojego robota. Podczas testów indeksowałem witrynę z wiadomościami, zbierając więcej niż kilka GB danych. Głównie interesują mnie najnowsze opowiadania, więc szukam sposobu na ograniczenie liczby żądanych stron, bajtów lub sekund.

Czy istnieje powszechny sposób zdefiniować limit

• request_bytes
• request_counts lub
• czasie wykonywania sekund?

Answer 1

W scrapy jest klasa scrapy.contrib.closespider.CloseSpider. Można zdefiniować zmienne CLOSESPIDER_TIMEOUT, CLOSESPIDER_ITEMCOUNT, CLOSESPIDER_PAGECOUNT i CLOSESPIDER_ERRORCOUNT.

Pająk zamyka się automatycznie, gdy spełnione są warunki: http://doc.scrapy.org/en/latest/topics/extensions.html#module-scrapy.contrib.closespider