scrapy: konwertuj ciąg html do obiektu HtmlResponse

Question

Mam surowy ciąg html, który chcę przekonwertować na obiekt odpowiedzi HTML na scrapy, aby można było używać selektorów css i xpath, podobnych do scrapy do response. Jak mogę to zrobić?

Answer 1

Przede wszystkim, jeśli jest to w celach testowych lub debugowania, można użyć Scrapy shell:

$ cat index.html 
<div id="test"> 
    Test text 
</div> 

$ scrapy shell index.html 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text' 

Istnieje different objects available in the shell trakcie sesji, jak response i request.

---

Lub można utworzyć wystąpienia HtmlResponse class i zapewnić ciąg HTML body:

>>> from scrapy.http import HtmlResponse 
>>> response = HtmlResponse(url="my HTML string", body='<div id="test">Test text</div>') 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text'