Parsowanie HTML za pomocą BeautifulSoup 4 i Python

Question

Próbuję przeanalizować listę wyników http://mobile.de.

Najpierw próbowałem go z klasą HTMLParser, ale otrzymałem komunikat o błędzie: HTMLParser.HTMLParseError: EOF in middle of construct.

Wypróbowałem to z BeautifulSoup 4, który jest lepszy dla nieważnych stron internetowych, ale <div> szukam jest niedostępny i nie mogę stwierdzić, czy to moja wina, czy strona internetowa.

from bs4 import BeautifulSoup 
    import urllib 
    import socket 

    searchurl = "http://suchen.mobile.de/auto/search.html?scopeId=C&isSearchRequest=true&sortOption.sortBy=price.consumerGrossEuro" 
    f = urllib.urlopen(searchurl) 
    html = f.read() 
    soup = BeautifulSoup(html) 

    for link in soup.find_all("div","listEntry "): 
     print link 

listEntry jest <div> z wynikiem samochodów. Ale wygląda na to, że nie parsuje <form id="parkAndCompareVehicle" name="parkAndCompareVehicle" action="">. Nie mogę znaleźć formy w zupie.

Gdzie jest wina?

Answer 1

To powinno być coś takiego:

for link in soup.findAll('div', {'class': 'listEntry '}): 
    print link 

Atrybuty są określone w słowniku - findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

==========

UPD. Niestety wydaje się, że w bs4 możesz to zrobić w ten sam sposób.

Jeśli chodzi o usterkę, formularz, którego szukasz, nie znajduje się w wynikach, ponieważ obejmuje listę listEntries, o ile widzę.

Co w tym złego, że:

form = soup.find('form', id='parkAndCompareVehicle') 
print len(form.find_all('div', 'listEntry '))