Ograniczenie głębokości ustawiania za pomocą funkcji Scrapy na dozwolone_domeny

Question

Przeszukuję 6 różnych dozwolonych domen i chcę ograniczyć głębokość 1 domeny. Jak chciałbym ograniczyć głębokość tej 1 domeny w scrapy? Czy możliwe byłoby zaindeksowanie tylko 1 głębokości domen zewnętrznych?

Answer 1

Scrapy nie zapewnia niczego takiego. Możesz set the DEPTH_LIMIT per-spider, ale nie na domenę.

Co możemy zrobić? Read the code, wypij kawę i rozwiąż ją (kolejność jest ważna).

Zamiast tego chodzi o wyłączenie wbudowanych funkcji Scrapy w postaci DepthMiddleware i provide our custom one.

Najpierw zdefiniować ustawienia:

• DOMAIN_DEPTHS byłby słownik z limitów głębokość na domenie
• DEPTH_LIMIT ustawienie zostawimy jako domyślny w przypadku, gdy domena nie jest skonfigurowana

Przykład ustawienia:

DOMAIN_DEPTHS = {'amazon.com': 1, 'homedepot.com': 4} 
DEPTH_LIMIT = 3 

Dobra, teraz zwyczaj middleware (na podstawie DepthMiddleware):

from scrapy import log 
from scrapy.http import Request 
import tldextract 


class DomainDepthMiddleware(object): 
    def __init__(self, domain_depths, default_depth): 
     self.domain_depths = domain_depths 
     self.default_depth = default_depth 

    @classmethod 
    def from_crawler(cls, crawler): 
     settings = crawler.settings 
     domain_depths = settings.getdict('DOMAIN_DEPTHS', default={}) 
     default_depth = settings.getint('DEPTH_LIMIT', 1) 

     return cls(domain_depths, default_depth) 

    def process_spider_output(self, response, result, spider): 
     def _filter(request): 
      if isinstance(request, Request): 
       # get max depth per domain 
       domain = tldextract.extract(request.url).registered_domain 
       maxdepth = self.domain_depths.get(domain, self.default_depth) 

       depth = response.meta.get('depth', 0) + 1 
       request.meta['depth'] = depth 

       if maxdepth and depth > maxdepth: 
        log.msg(format="Ignoring link (depth > %(maxdepth)d): %(requrl)s ", 
          level=log.DEBUG, spider=spider, 
          maxdepth=maxdepth, requrl=request.url) 
        return False 
      return True 

     return (r for r in result or() if _filter(r)) 

Zauważ, że wymaga to tldextract moduł do instalacji (używany do ekstrakcji nazwę domeny z URL):

>>> import tldextract 
>>> url = 'http://stackoverflow.com/questions/27805952/scrapy-set-depth-limit-per-allowed-domains' 
>>> tldextract.extract(url).registered_domain 
'stackoverflow.com' 

Teraz musimy aby wyłączyć domyślne oprogramowanie pośrednie i zastosować to, które zaimplementowaliśmy:

SPIDER_MIDDLEWARES = { 
    'myproject.middlewares.DomainDepthMiddleware': 900, 
    'scrapy.contrib.spidermiddleware.depth.DepthMiddleware': None 
}