Python moduł BeautifulSoup wydobywające kotwice href

Question

używam moduł BeautifulSoup aby zaznaczyć cały href z HTML w ten sposób:

def extract_links(html): 
    soup = BeautifulSoup(html) 
    anchors = soup.findAll('a') 
    print anchors 
    links = [] 
    for a in anchors: 
    links.append(a['href']) 
    return links 

ale kiedyś nie udało przez ten komunikat o błędzie:

Traceback (most recent call last): 
File "C:\py\main.py", line 33, in <module> 
urls = extract_links(page) 
File "C:\py\main.py", line 11, in extract_links 
links.append(a['href']) 
File "C:\py\BeautifulSoup.py", line 601, in __getitem__ 
return self._getAttrMap()[key] 
KeyError: 'href' 

Answer 1

nie wszystkie kotwicy tagi będą miały atrybut href. Przed próbą uzyskania dostępu do tego atrybutu należy sprawdzić, czy anchor ma href.

if a.has_key('href') 
    links.append(a['href']) 

Po sprawdzeniu niektórych uwag, uważam, że jest to najbardziej pytonowy sposób postępowania w tej sprawie.

Answer 2

pythonowy sposobem byłoby coś takiego:

for a in anchors: 
    try: 
     links.append(a['href']) 
    except KeyError: 
     pass 

To po prostu pomija żadnych <a> tagów bez href.

Answer 3

Spróbuj tego.

links = [a['href'] for a in anchors if a.has_key('href')] 

Lub, jeśli wolisz mutować istniejącej listy

links = [] 
#... 
links.extend(a['href'] for a in anchors if a.has_key('href')) 

Answer 4

Trzeba rzucić a.attrs do dict pierwszej, a następnie uzyskać dostęp do elementu.

links.append(dict(a.attrs)['href']) 

Answer 5

soup.findAll() zwraca listę "tagów", które zawierają słowniki atrybutów. Musisz więc wyodrębnić jego atrybuty i pracować nad nimi.

Biorąc przykład i modyfikacji, jest to kod, który działa:

def extract_links(html): 
    soup = BeautifulSoup(html) 
    anchors = soup.findAll('a') 
    print anchors 
    links = [] 
    for a in anchors: 
    if a.attrs.has_key('href'): 
     links.append(a['href']) 
return links