Złomowanie - Cicho upuszczanie elementu

Question

Używam usługi Scrapy w celu przeszukiwania kilku witryn internetowych, które mogą udostępniać nadmiarowe informacje.

Za każdą stronę, którą skrobię, przechowuję URL strony, jej tytuł i kod HTML, w mongoDB. Chcę uniknąć duplikowania w bazie danych, dlatego też wdrażam potok w celu sprawdzenia, czy podobny element jest już przechowywany. W takim przypadku podniosę wyjątek DropItem.

Mój problem polega na tym, że za każdym razem, gdy upuszczam element przez wyjątek, DropItem, Scrapy wyświetli całą zawartość elementu w log (stdout lub plik). Gdy rozpakowuję cały kod HTML każdej skrobanej strony, w przypadku upuszczenia cały kod HTML zostanie wyświetlony w dzienniku.

Jak mogę po cichu upuścić przedmiot bez wyświetlania jego zawartości?

Dziękuję za poświęcony czas!

class DatabaseStorage(object): 
    """ Pipeline in charge of database storage. 

    The 'whole' item (with HTML and text) will be stored in mongoDB. 
    """ 

    def __init__(self): 
     self.mongo = MongoConnector().collection 

    def process_item(self, item, spider): 
     """ Method in charge of item valdation and processing. """ 
     if item['html'] and item['title'] and item['url']: 
      # insert item in mongo if not already present 
      if self.mongo.find_one({'title': item['title']}): 
       raise DropItem('Item already in db') 
      else: 
       self.mongo.insert(dict(item)) 
       log.msg("Item %s scraped" % item['title'], 
        level=log.INFO, spider=spider) 
     else: 
      raise DropItem('Missing information on item %s' % (
       'scraped from ' + item.get('url') 
       or item.get('title'))) 
     return item 

Answer 1

Właściwym sposobem na to wydaje się być wdrożenie niestandardowych LogFormatter dla danego projektu, a zmiana poziom rejestrowania upuszczonych przedmiotów.

Przykład:

from scrapy import log 
from scrapy import logformatter 

class PoliteLogFormatter(logformatter.LogFormatter): 
    def dropped(self, item, exception, response, spider): 
     return { 
      'level': log.DEBUG, 
      'format': logformatter.DROPPEDFMT, 
      'exception': exception, 
      'item': item, 
     } 

Następnie w pliku ustawień, coś jak:

LOG_FORMATTER = 'apps.crawler.spiders.PoliteLogFormatter' 

miałem pecha właśnie powrocie "None", który spowodował wyjątek w przyszłych rurociągów.

Answer 2

OK, znalazłem odpowiedź, zanim jeszcze opublikuję pytanie. Nadal uważam, że odpowiedź może być cenna dla każdego, kto ma ten sam problem.

Zamiast upuszczenie przedmiotu z DropItem wyjątku, po prostu trzeba zwrócić wartość None:

def process_item(self, item, spider): 
    """ Method in charge of item valdation and processing. """ 
    if item['html'] and item['title'] and item['url']: 
     # insert item in mongo if not already present 
     if self.mongo.find_one({'url': item['url']}): 
      return 
     else: 
      self.mongo.insert(dict(item)) 
      log.msg("Item %s scraped" % item['title'], 
       level=log.INFO, spider=spider) 
    else: 
     raise DropItem('Missing information on item %s' % (
      'scraped from ' + item.get('url') 
      or item.get('title'))) 
    return item 

Answer 3

W ostatnich wersjach Scrapy zostało to nieco zmienione. I skopiowany kod z @jimmytheleaf i stałe go do pracy z niedawnym Scrapy:

import logging 
from scrapy import logformatter 


class PoliteLogFormatter(logformatter.LogFormatter): 
    def dropped(self, item, exception, response, spider): 
     return { 
      'level': logging.INFO, 
      'msg': logformatter.DROPPEDMSG, 
      'args': { 
       'exception': exception, 
       'item': item, 
      } 
     }