Python BeautifulSoup Uzyskaj szczegółowe adresy URL:

Question

Czy można uzyskać tylko określone adresy URL?

odczuwalna:

<a href="http://www.iwashere.com/washere.html">next</a> 
<span class="class">...</span> 
<a href="http://www.heelo.com/hello.html">next</a> 
<span class="class">...</span> 
<a href="http://www.iwashere.com/wasnot.html">next</a> 
<span class="class">...</span> 

Wyjście powinno być tylko adresy od http://www.iwashere.com/

podobnego URL wyjściowych:

http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

Zrobiłem to przez logikę strun. Czy istnieje jakaś bezpośrednia metoda wykorzystująca BeautifulSoup?

Answer 1

można dopasować wiele aspektów, w tym za pomocą wyrażenia regularnego dla wartości atrybutu:

import re 
soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')) 

który pasuje (dla przykładu):

[<a href="http://www.iwashere.com/washere.html">next</a>, <a href="http://www.iwashere.com/wasnot.html">next</a>] 

więc każdy <a> tag z atrybutem href ma wartość zaczynającą się od ciągu http://www.iwashere.com/.

Można pętli nad wynikami i wyłowić tylko atrybut href:

>>> for elem in soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')): 
...  print elem['href'] 
... 
http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

Aby dopasować wszystkie ścieżki względne zamiast korzystania negatywny antycypowanego twierdzenie, że sprawdza, czy wartość ma nie początek z schemat (na przykład http: lub mailto:) lub podwójny ukośnik (//hostname/path); Każda taka wartość musi być względna ścieżka zamiast:

soup.find_all('a', href=re.compile(r'^(?!(?:[a-zA-Z][a-zA-Z0-9+.-]*:|//))')) 

Answer 2

Jeśli używasz BeautifulSoup 4.0.0 lub większy:

soup.select('a[href^="http://www.iwashere.com/"]')