UnicodeDecodeError: Kodek 'ascii' nie może dekodować bajtu 0xc3 w pozycji 23: porządkowy nie jest w zakresie (128)

Question

kiedy próbuję to złączyć, otrzymuję UnicodeDecodeError, gdy pole zawiera "ñ" lub "". Jeśli pole zawierające "ñ" lub "" jest ostatnim, nie otrzymuję błędu.

#... 

nombre = fabrica 
nombre = nombre.encode("utf-8") + '-' + sector.encode("utf-8") 
nombre = nombre.encode("utf-8") + '-' + unidad.encode("utf-8") 

#... 

return nombre 

jakiś pomysł? Wielkie dzięki!

Answer 1

Kodowanie do UTF-8, następnie re - kodowanie do UTF-8. Python można to zrobić tylko wtedy, gdy uprzednio dekoduje ponownie na Unicode, ale musi użyć kodek domyślny ASCII:

>>> u'ñ' 
u'\xf1' 
>>> u'ñ'.encode('utf8') 
'\xc3\xb1' 
>>> u'ñ'.encode('utf8').encode('utf8') 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0: ordinal not in range(128) 

Nie przechowywać kodowanie; pozostaw kodowanie do UTF-8 zamiast do ostatniej możliwej chwili. Łącz zamiast wartości Unicode.

Można użyć str.join() (lub raczej unicode.join()) tutaj, aby złączyć te trzy wartości z kresek pomiędzy:

nombre = u'-'.join(fabrica, sector, unidad) 
return nombre.encode('utf-8') 

ale nawet tutaj kodowania może być zbyt wcześnie.

Zasada kciuka: dekodowanie w momencie otrzymania wartości (jeśli nie są to wartości Unicode dostarczone przez API), koduj tylko wtedy, gdy musisz (jeśli docelowy interfejs API nie obsługuje bezpośrednio wartości Unicode).

Answer 2

To rozwiązanie pracował dla mojego przypadku

zmian

my_str = str(my_str) #Basically it removes encoding 

Answer 3

Kiedy masz UnicodeEncodeError, oznacza to, że gdzieś w kodzie bezpośrednio przekonwertować ciąg bajtów do jednej Unicode. Domyślnie w Pythonie 2 używa kodowania ascii, a kodowanie utf8 w Python3 (oba mogą się nie powieść, ponieważ nie każdy bajt jest ważny w kodowaniu).

Aby tego uniknąć, należy użyć jawnego dekodowania.

Jeśli możesz mieć 2 różne kodowania w pliku wejściowym, jeden z nich akceptuje dowolny bajt (np. UTF8 i Latin1), możesz spróbować najpierw przekonwertować ciąg z pierwszym i użyć drugiego, jeśli wystąpi UnicodeDecodeError.

def robust_decode(bs): 
    '''Takes a byte string as param and convert it into a unicode one. 
First tries UTF8, and fallback to Latin1 if it fails''' 
    cr = None 
    try: 
     cr = bs.decode('utf8') 
    except UnicodeDecodeError: 
     cr = bs.decode('latin1') 
    return cr 

Jeśli nie wiesz oryginalne kodowanie i nie obchodzi za nieprzestrzeganie znaków ASCII, można ustawić parametr opcjonalny errors metody do replacedecode. Wszelkie bajt naruszającym przepisy zostaną zastąpione (od standardowej dokumentacji biblioteki):

Replace with a suitable replacement character; Python will use the official U+FFFD REPLACEMENT CHARACTER for the built-in Unicode codecs on decoding and ‘?’ on encoding.

bs.decode(errors='replace')