Jak uzyskać dostęp do ustawień zrzutu z pozycji Pipeline

Question

Jak uzyskać dostęp do ustawień scrapy w pliku settings.py z potoku produktu. Dokumentacja wspomina, że ​​może być dostępna przez robota w rozszerzeniach, ale nie widzę, jak uzyskać dostęp do robota w rurociągach.

Answer 1

Ok, więc dokumentacja na http://doc.scrapy.org/en/latest/topics/extensions.html mówi, że

The main entry point for a Scrapy extension (this also includes middlewares and pipelines) is the from_crawler class method which receives a Crawler instance which is the main object controlling the Scrapy crawler. Through that object you can access settings, signals, stats, and also control the crawler behaviour, if your extension needs to such thing.

Więc można mieć funkcję, aby uzyskać ustawienia.

@classmethod 
def from_crawler(cls, crawler): 
    settings = crawler.settings 
    my_setting = settings.get("MY_SETTING") 
    return cls(my_setting) 

Silnik gąsienicowy następnie wywołuje funkcję init tego gazociągu z my_setting, tak:

def __init__(self, my_setting): 
    self.my_setting = my_setting 

i innych funkcji można uzyskać do niego dostęp z self.my_setting, jak oczekiwano.

Alternatywnie, w funkcji from_crawler() można przekazać obiekt crawler.settings do __init__(), a następnie ustawienia dostępu z rurociągu, ile potrzeba, a nie ciągnąc je wszystkie w konstruktorze.

Answer 2

Sposób dostępu do ustawień Scrapy (zgodnie z definicją w settings.py) z poziomu your_spider.py jest prosty. Wszystkie inne odpowiedzi są zbyt skomplikowane. Powodem tego jest bardzo słaba konserwacja dokumentacji Scrapy, w połączeniu z wieloma nowymi aktualizacjami & zmian. Ani w "Ustawieniach" dokumentacji "How to access settings", ani w "Settings API" nie zadali sobie trudu nadając praktyczny przykład. Oto przykład, w jaki sposób uzyskać bieżący ciąg znaków USER_AGENT.

Wystarczy dodać następujące linie do your_spider.py:

# To get your settings from (settings.py): 
from scrapy.utils.project import get_project_settings 
... 
class YourSpider(BaseSpider): 
    ... 
    def parse(self, response): 
     ... 
     settings = get_project_settings() 
     print "Your USER_AGENT is:\n%s" % (settings.get('USER_AGENT')) 
     ... 

Jak widać, nie ma potrzeby korzystania @classmethod lub ponowne zdefiniowanie from_crawler() lub __init__() funkcje. Mam nadzieję że to pomoże.

PS. Nadal nie wiem, dlaczego używanie from scrapy.settings import Settings nie działa w ten sam sposób, ponieważ byłby to bardziej oczywisty wybór importu?

Answer 3

Prawidłowa odpowiedź: zależy od miejsca, w którym chcesz uzyskać dostęp do ustawień.

avaleske odpowiedział tak, jakbyś chciał uzyskać dostęp do ustawień poza linią process_item, ale jest bardzo prawdopodobne, że właśnie tam będziesz chciał ustawić i dlatego jest o wiele łatwiejszy sposób, gdy sama instancja Spidera zostanie przekazana jako argument.

class PipelineX(object): 

    def process_item(self, item, spider): 
     wanted_setting = spider.settings.get('WANTED_SETTING') 

Answer 4

struktura projektu jest dość płaski, dlaczego nie:

# pipeline.py 
from myproject import settings