Scrapy. Jak zmienić ustawienia pająka po rozpoczęciu indeksowania?

Question

Nie mogę zmienić ustawień pająka w metodzie parsowania. Ale to zdecydowanie musi być droga.

Na przykład:

 
class SomeSpider(BaseSpider): 
    name = 'mySpider' 
    allowed_domains = ['example.com'] 
    start_urls = ['http://example.com'] 
    settings.overrides['ITEM_PIPELINES'] = ['myproject.pipelines.FirstPipeline'] 
    print settings['ITEM_PIPELINES'][0] 
    #printed 'myproject.pipelines.FirstPipeline' 
    def parse(self, response): 
     #...some code 
     settings.overrides['ITEM_PIPELINES'] = ['myproject.pipelines.SecondPipeline'] 
     print settings['ITEM_PIPELINES'][0] 
     # printed 'myproject.pipelines.SecondPipeline' 
     item = Myitem() 
     item['mame'] = 'Name for SecondPipeline' 

Ale! Przedmiot zostanie przetworzony przez FirstPipeline. Nowe parametry ITEM_PIPELINES nie działają. Jak mogę zmienić ustawienia po rozpoczęciu pobierania? Z góry dziękuję!

Answer 1

Jeśli chcesz, aby różne pająki miały różne potoki, możesz ustawić dla pająka atrybut listy rurociągów, który definiuje potoki dla tego pająka. Niż w rurociągach sprawdzenia istnienia:

class MyPipeline(object): 

    def process_item(self, item, spider): 
     if self.__class__.__name__ not in getattr(spider, 'pipelines',[]): 
      return item 
     ... 
     return item 

class MySpider(CrawlSpider): 
    pipelines = set([ 
     'MyPipeline', 
     'MyPipeline3', 
    ]) 

Jeśli chcesz, że różne przedmioty do proceesed różnych rurociągów można to zrobić:

class MyPipeline2(object): 
     def process_item(self, item, spider): 
      if isinstance(item, MyItem): 
       ... 
       return item 
      return item