Jak zbierać statystyki w ramach wywołania zwrotnego pająka?

Question

Jak mogę zbierać statystyki z połączenia zwrotnego pająka?

Przykład

class MySpider(Spider): 
    name = "myspider" 
    start_urls = ["http://example.com"] 

def parse(self, response): 
    stats.set_value('foo', 'bar') 

Nie jestem pewien co do import lub jak zrobić stats dostępne w ogóle.

Answer 1

Zapoznaj się z stats page from the scrapy documentation. Dokumentacja stwierdza, że ​​Collector Stats, ale może być konieczne dodanie do kodu pająka, aby można było z nim zrobić.

EDYCJA: Ryzykując wydmuchiwanie własnej trąbki, jeśli interesowałeś się konkretnym przykładem, wysłałem answer about how to collect failed urls.

EDIT2: Po wielu poszukiwaniach, najwyraźniej żaden import nie jest konieczny. Po prostu użyj self.crawler.stats.set_value()!

Answer 2

Z scrapy 0.24 - stats Używam go na drodze obserwacji:

class TopSearchesSpider(CrawlSpider): 
    name = "topSearches" 
    allowed_domains = ["...domain..."] 

    start_urls = (
     'http://...domain...', 
    ) 

    def __init__(self, stats): 
     super(TopSearchesSpider, self).__init__() 
     self.stats = stats 

    @classmethod 
    def from_crawler(cls, crawler): 
     return cls(crawler.stats) 

    def parse_start_url(self, response): 
     sel = Selector(response); 
     url = response.url; 

     self.stats.inc_value('pages_crawled') 
     ... 

Super metoda jest wywołanie konstruktora CrawlSpider wykonać swój własny kod.

Answer 3

Dodaj to wewnątrz klasy pająka

def my_parse(self, response): 
    print self.crawler.stats.get_stats()