sygnał działa tylko w głównym wątku

Question

Jestem nowy w django. Próbuję uruchomić mój pająk do scrapy przez widok django. Mój kod scrapy działa idealnie, gdy uruchamiam wiersz polecenia. ale gdy próbuję uruchomić go na django, nie działa. Komunikat o błędzie: sygnał działa tylko w wątku głównym.

mój kod w widoku django (Poniżej)

from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.crawler import CrawlerProcess 
from scrapy import log, signals 
from Working.spiders.workSpider import WorkSpider 
from scrapy.settings import Settings 
from scrapy.utils.project import get_project_settings 

spider = WorkSpider(domain='scrapinghub.com') 
crawler = CrawlerProcess(Settings()) 
crawler.start() 
crawler.signals.connect(reactor.stop, signal=signals.spider_closed) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
reactor.run() 

Proszę mi pomóc rozwiązać ten problem. dziękuję

Answer 1

błąd w zasadzie powiedzieć, że nie jesteś w głównym wątku, więc sygnał nie jest obsługiwany.

przełączania z CrawlerProcess do CrawlerRunner rozwiązał problem dla mnie (chyba w CrawlerRunner jesteś w głównym wątku) http://doc.scrapy.org/en/latest/topics/api.html#scrapy.crawler.CrawlerRunner

nadzieja ta pomaga