Używanie wielu pająków w projekcie w Scrapii

Question

Chcę wiedzieć, czy możliwe jest jednoczesne wykorzystanie wielu pająków w ramach tego samego projektu. Właściwie potrzebuję 2 pająków. Pierwszy zbiera linki, na których drugi pająk powinien skrobać. Obaj pracują na tej samej stronie, więc domena jest podobna. Czy to możliwe? Jeśli tak, czy możesz podać mi przykład? Dzięki

Answer 1

Może to jest to, czego szukasz:

def parse(self, response): 
    # parse the links (aka your first spider) 
    for link in hxs('//XPATH'): 
     yield Request(link.extract(), callback=self.parse_link) 

def parse_link(self, response): 
    # continue parsing (aka your second spider) 

nadzieję, że to pomoże Ci :)