mam pająka że mam napisane przy użyciu ramy Scrapy. Mam problem z uruchomieniem jakichkolwiek potoków. Mam następujący kod w moim pipelines.py:Nie można uzyskać Scrapy rurociąg do pracy
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
i mój CrawlSpider podklasa ma tę linię do aktywacji rurociągu dla tej klasy.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
Jednakże gdy uruchomię go za pomocą
scrapy crawl my_spider
uzyskać linię, która mówi
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
bez rurociągów (przypuszczam to gdzie rejestrowania powinien wypisać im).
Próbowałem przeglądając dokumentację, ale nie wydaje się być żadnych pełne przykłady całego projektu, aby sprawdzić, czy nie zostały pominięte coś.
Wszelkie sugestie na co próbować dalej? lub gdzie szukać dalszej dokumentacji?
Czy masz ten kod projektu hostowany w github? – Medeiros
Nie, mój klient mógł umieścić go gdzieś, ale nie moje miejsce na Open Source to obawiam się. –
musiałem użyć ITEM_PIPELINES jako dict zamiast listy w pliku ustawień –