2010-11-03 29 views
8

mam pająka że mam napisane przy użyciu ramy Scrapy. Mam problem z uruchomieniem jakichkolwiek potoków. Mam następujący kod w moim pipelines.py:Nie można uzyskać Scrapy rurociąg do pracy

class FilePipeline(object): 

    def __init__(self): 
     self.file = open('items.txt', 'wb') 

    def process_item(self, item, spider): 
     line = item['title'] + '\n' 
     self.file.write(line) 
     return item 

i mój CrawlSpider podklasa ma tę linię do aktywacji rurociągu dla tej klasy.

ITEM_PIPELINES = [ 
     'event.pipelines.FilePipeline' 
    ] 

Jednakże gdy uruchomię go za pomocą

scrapy crawl my_spider 

uzyskać linię, która mówi

2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines: 

bez rurociągów (przypuszczam to gdzie rejestrowania powinien wypisać im).

Próbowałem przeglądając dokumentację, ale nie wydaje się być żadnych pełne przykłady całego projektu, aby sprawdzić, czy nie zostały pominięte coś.

Wszelkie sugestie na co próbować dalej? lub gdzie szukać dalszej dokumentacji?

Odpowiedz

8

Got it! Linia musi przejść do modułu ustawień dla projektu. Teraz działa!

+0

Czy masz ten kod projektu hostowany w github? – Medeiros

+0

Nie, mój klient mógł umieścić go gdzieś, ale nie moje miejsce na Open Source to obawiam się. –

+0

musiałem użyć ITEM_PIPELINES jako dict zamiast listy w pliku ustawień –

0

Jestem gotów się założyć, że jest to różnica w kapitalizacji rurociągu gdzieś słowo:

Pipeline vs. rurociągu

zauważam 'event.pipelines.FilePipeline' używa tego pierwszego, natomiast kod wykorzystuje ten ostatni: który wykonywać swoją używać nazw plików?

(I padły ofiarą tego błędu pisowni wiele razy!)

+0

Dzięki za plamienia, że ​​(nie mogę uwierzyć, że brakowało mi go!), Ale to nadal nie działa niestety –

+0

To wciąż mój zakład na to, co się stało, zaglądać! : P (jeśli nie, nie mam pomysłów ...) – James

+0

Będę miał inne spojrzenie. Twoje zdrowie! –

Powiązane problemy