Jak obsługiwać znaki Unicode (spoza zestawu ASCII) w języku Python?

Question

Programuję w Python i uzyskuję informacje ze strony internetowej za pośrednictwem biblioteki urllib2. Problem polega na tym, że ta strona może dostarczyć mi znaków spoza ASCII, jak 'ñ', 'á' etc. W chwili urllib2 dostaje tę postać, to wywołuje wyjątek, tak:

File "c:\Python25\lib\httplib.py", line 711, in send 
    self.sock.sendall(str) 
File "<string>", line 1, in sendall: 
    UnicodeEncodeError: 'ascii' codec can't encode character u'\xf1' in position 74: ordinal not in range(128) 

muszę obsłużyć te postacie. Mam na myśli, nie chcę obsługiwać wyjątku, ale kontynuować program. Czy jest jakiś sposób, aby na przykład (nie wiem, czy to jest coś głupiego), użyć innego codec zamiast ASCII? Ponieważ muszę pracować z tymi postaciami, wstawić je do bazy danych, itp.

Answer 1

Właśnie przeczytałeś zestaw bajtów z gniazda. Jeśli chcesz ciąg trzeba go zdekodować:

yourstring = receivedbytes.decode("utf-8") 

(zastępując cokolwiek kodowania używasz do utf-8)

Następnie trzeba zrobić odwrotnie, aby wysłać go z powrotem:

outbytes = yourstring.encode("utf-8") 

Answer 2

Chcesz użyć unikodu dla całej swojej pracy, jeśli możesz.

Prawdopodobnie znajdzie to pytanie/odpowiedź przydatne:

urllib2 read to Unicode

Answer 3

Możecie zajrzeć do biblioteki przy użyciu rzeczywiste parsowania znaleźć te informacje. lxml, na przykład, już adresuje kodowanie/dekodowanie Unicode przy użyciu zadeklarowanego zestawu znaków.