Jak zatrzymać wszystkie pająki i silnik natychmiast po spełnieniu warunku w rurociągu?

Question

Mamy system napisany ze scrapy do przeszukiwania kilku stron internetowych. Istnieje kilka pająków i kilka kaskadowych potoków dla wszystkich elementów przekazywanych przez wszystkie roboty. Jeden z komponentów rurociągu wysyła zapytanie do serwerów google pod adresem geokodowania. Google nakłada limit 2500 żądań dziennie na adres IP i grozi zakazywaniem adresu IP, jeśli będzie kontynuował wysyłanie zapytań do google, nawet po tym, jak Google odpowiedział ostrzeżeniem: "OVER_QUERY_LIMIT".

Dlatego chcę wiedzieć o jakimkolwiek mechanizmie, z którego mogę się odwołać w ramach rurociągu, który będzie całkowicie i natychmiast zatrzymać wszystkie dalsze indeksowania/przetwarzania wszystkich pająków, a także silnika głównego.

Sprawdziłem inne podobne pytania i odpowiedzi na nie nie pracowali:

• Force my scrapy spider to stop crawling

from scrapy.project import crawler 
crawler._signal_shutdown(9,0) #Run this if the cnxn fails. 

to nie działa jak potrzeba czasu na pająka, aby zatrzymać wykonanie, a tym samym wiele innych żądań skierowanych do google (które może potencjalnie zablokować mój adres IP)

import sys 
sys.exit("SHUT DOWN EVERYTHING!") 

ten nie działa w ogóle; przedmioty przechowywać uzyskiwanie generowane i przekazywane do rurociągu, choć dziennik wymiotuje sys.exit() -> exceptions.SystemExit podniesiony (bez efektu)

• How can I make scrapy crawl break and exit when encountering the first exception?

crawler.engine.close_spider(self, 'log message') 

ten ma ten sam problem, co pierwszy wspomniany wyżej przypadek.

Próbowałem:

scrapy.project.crawler.engine.stop() 

bezskutecznie

EDIT: Jeśli robię w rurociągu:

od importu scrapy.contrib.closespider CloseSpider

co powinienem przekazać jako argument "robota" do funkcji CloseSpider init() z zakresu mojego potoku?

Answer 1

Możesz raise a CloseSpider exception zamknąć pająka. Jednak nie sądzę, że to będzie działać z potoku.

EDIT: avaleske zauważa w komentarzach do tej odpowiedzi, że był w stanie podnieść wyjątek CloseSpider z potoku. Najrozsądniej byłoby z tego skorzystać.

Podobna sytuacja została opisana na grupy Użytkownicy Scrapy, in this thread.

cytuję:

Aby zamknąć pająka dla każdej części kodu należy użyć engine.close_spider metody. Zobacz to rozszerzenie dla użytkowania przykład: https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/closespider.py#L61

można napisać własne rozszerzenia, podczas gdy patrząc na closespider.py jako przykład, który będzie zamknięty pająka czy dany warunek został spełniony.

Innym "hack" byłoby ustawić flagę na pająka w rurociągu. Na przykład:

rurociąg:

def process_item(self, item, spider): 
    if some_flag: 
     spider.close_down = True 

pająk:

def parse(self, response): 
    if self.close_down: 
     raise CloseSpider(reason='API usage exceeded')