Czy istnieje sposób na uruchomienie wszystkich pająków w projekcie Scrapy bez użycia demona Scrapy? Był kiedyś sposób na uruchomienie wielu pająków z scrapy crawl
, ale ta składnia została usunięta, a kod Scrapy zmienił się całkiem sporo.Lokalnie uruchomić wszystkie pająki w Scrapy
Próbowałem tworzyć własne komendy:
from scrapy.command import ScrapyCommand
from scrapy.utils.misc import load_object
from scrapy.conf import settings
class Command(ScrapyCommand):
requires_project = True
def syntax(self):
return '[options]'
def short_desc(self):
return 'Runs all of the spiders'
def run(self, args, opts):
spman_cls = load_object(settings['SPIDER_MANAGER_CLASS'])
spiders = spman_cls.from_settings(settings)
for spider_name in spiders.list():
spider = self.crawler.spiders.create(spider_name)
self.crawler.crawl(spider)
self.crawler.start()
Ale gdy pająk jest zarejestrowany self.crawler.crawl()
, otrzymuję błędy twierdzenie dla wszystkich innych pająków:
Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/scrapy/cmdline.py", line 138, in _run_command
cmd.run(args, opts)
File "/home/blender/Projects/scrapers/store_crawler/store_crawler/commands/crawlall.py", line 22, in run
self.crawler.crawl(spider)
File "/usr/lib/python2.7/site-packages/scrapy/crawler.py", line 47, in crawl
return self.engine.open_spider(spider, requests)
File "/usr/lib/python2.7/site-packages/twisted/internet/defer.py", line 1214, in unwindGenerator
return _inlineCallbacks(None, gen, Deferred())
--- <exception caught here> ---
File "/usr/lib/python2.7/site-packages/twisted/internet/defer.py", line 1071, in _inlineCallbacks
result = g.send(result)
File "/usr/lib/python2.7/site-packages/scrapy/core/engine.py", line 215, in open_spider
spider.name
exceptions.AssertionError: No free spider slots when opening 'spidername'
Czy istnieje jakiś sposób, aby Zrób to? Wolałbym nie rozpoczynać podklasowania składników Core Scrapy, tylko po to, aby uruchomić wszystkie moje pająki w ten sposób.
Jakiej wersji Scrapy używasz? '$ scrapy version -v' –
Czy wiesz o [' scrapyd'] (http://doc.scrapy.org/en/latest/topics/scrapyd.html)? –
'0.16.4'. Wiem o Scrapyd, ale testuję te pająki lokalnie, więc wolałbym go nie używać. – Blender