Moduł "re" Pythona nie działa?

Question

Używam Pythona "re" moduł następująco:

request = get("http://www.allmusic.com/album/warning-mw0000106792") 
print re.findall('<hgroup>(.*?)</hgroup>', request) 

Wszystko robię jest coraz kod HTML this site, i patrząc na tym konkretnym fragmencie kodu:

<hgroup> 
    <h3 class="album-artist"> 
     <a href="http://www.allmusic.com/artist/green-day-mn0000154544">Green Day</a>  </h3> 

    <h2 class="album-title"> 
     Warning  </h2> 
</hgroup> 

jednak , kontynuuje drukowanie pustej tablicy. Dlaczego to? Dlaczego re.findall nie może znaleźć tego fragmentu? Moduł

Answer 1

HTML jesteś parsowania jest na wielu liniach. Trzeba zdać flagę re.DOTALL do findall tak:

print re.findall('<hgroup>(.*?)</hgroup>', request, re.DOTALL) 

Pozwala . dopasować nowe linie i zwraca poprawny wynik.

@jsalonen ma oczywiście rację, że parsowanie HTML z regex jest trudnym problemem. Jednak w małych przypadkach takich jak ten, szczególnie w przypadku jednorazowego scenariusza, powiedziałbym, że jest to dopuszczalne.

Answer 2

re nie jest uszkodzony. Prawdopodobnie napotkasz na tym, że nie wszystkie HTML można łatwo dopasować do prostych wyrażeń regularnych.

Zamiast tego, spróbuj parsowania kodu HTML z rzeczywistym parser HTML jak BeautifulSoup:

from BeautifulSoup import BeautifulSoup 
from requests import get 

request = get("http://www.allmusic.com/album/warning-mw0000106792") 
soup = BeautifulSoup(request.content) 
print soup.findAll('hgroup') 

lub alternatywnie z pyquery:

from pyquery import PyQuery as pq 

d = pq(url='http://www.allmusic.com/album/warning-mw0000106792') 
print d('hgroup')