Jak przekonwertować ciąg znaków na utf-8 w Pythonie

Question

Mam przeglądarkę, która wysyła znaki utf-8 do mojego serwera Python, ale po pobraniu go z ciągu zapytania, kodowanie, które zwraca Python jest ASCII. Jak mogę przekonwertować zwykły ciąg znaków na utf-8?

UWAGA: Ciąg przekazywany z Internetu jest już zakodowany w formacie UTF-8, chcę tylko, aby Python traktował go jako UTF-8, a nie ASCII.

Answer 1

>>> plain_string = "Hi!" 
>>> unicode_string = u"Hi!" 
>>> type(plain_string), type(unicode_string) 
(<type 'str'>, <type 'unicode'>) 

^Jest to różnica między łańcuchem bajtowym (plain_string) i łańcuchem unicode.

>>> s = "Hello!" 
>>> u = unicode(s, "utf-8") 

^Konwersja na kod Unicode i określenie kodowania.

Answer 2

Jeśli dobrze cię rozumiem, w kodzie jest zakodowany kod bajtowy utf-8.

Konwertowanie ciągu bajtów na ciąg znaków Unicode jest znany jako dekodowanie (kodowanie kodu Unicode -> Bajt).

Robisz to za pomocą funkcji unicode lub metody decode. Albo:

unicodestr = unicode(bytestr, encoding) 
unicodestr = unicode(bytestr, "utf-8") 

Lub:

unicodestr = bytestr.decode(encoding) 
unicodestr = bytestr.decode("utf-8") 

Answer 3

Jeśli powyższe metody nie działają, można także powiedzieć Python ignorować fragmenty łańcucha, że ​​nie można przekonwertować na UTF-8:

stringnamehere.decode('utf-8', 'ignore') 

Answer 4

dodając następującą linię do początku pliku .py:

# -*- coding: utf-8 -*- 

pozwala kodować ciągów bezpośrednio w skrypcie, tak:

utfstr = "ボールト" 

Answer 5

może być trochę przesada, ale kiedy pracuję z ASCII i Unicode w tych samych plikach, powtarzając dekodowania może być ból, to co Używam:

def make_unicode(input): 
    if type(input) != unicode: 
     input = input.decode('utf-8') 
     return input 
    else: 
     return input 

Answer 6

W Pythonie 3.6 nie mają wbudowanej funkcji unicode(). Aby przekonwertować ciąg Unicode, po prostu uzyskać wartość Unicode znaku, a to zrobić:

my_str = "\u221a25" 
my_str = u"{}".format(my_str) 
print(my_str) 
>>> √25 

Answer 7

city = 'Ribeir\xc3\xa3o Preto' 
print city.decode('cp1252').encode('utf-8') 

Answer 8

Translate z ord() i unichar(). Każdy znak Unicode ma przypisany numer, podobnie jak indeks. Tak więc Python ma kilka metod tłumaczenia między znakiem a jego numerem. Minusem jest ñ przykład. Mam nadzieję, że to pomoże.

>>> C = 'ñ' 
>>> U = C.decode('utf8') 
>>> U 
u'\xf1' 
>>> ord(U) 
241 
>>> unichr(241) 
u'\xf1' 
>>> print unichr(241).encode('utf8') 
ñ