Piękna błąd kodowania Unicode Soup

Question

próbuję następujący kod z danego pliku HTML

from BeautifulSoup import BeautifulSoup 
import re 
import codecs 
import sys 
f = open('test1.html') 
html = f.read() 
soup = BeautifulSoup(html) 
body = soup.body.contents 
para = soup.findAll('p') 
print str(para).encode('utf-8') 

pojawia się następujący błąd:

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 9: ordinal not in range(128) 

Jak debugować to?

Nie dostaję żadnego błędu po usunięciu funkcji wywołania funkcji drukowania.

Answer 1

wbudowany str(para) próbuje użyć kodowania domyślnego (ascii) dla Unicode w para. Odbywa się to przed z encode() połączenia:

>>> s=u'123\u2019' 
>>> str(s) 
Traceback (most recent call last): 
    File "<interactive input>", line 1, in <module> 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 3: ordinal not in range(128) 
>>> s.encode("utf-8") 
'123\xe2\x80\x99' 
>>> 

kodowania Spróbuj para bezpośrednio, może stosując encode("utf-8") do każdego elementu listy.