Czy istnieje funkcja biblioteki Python, która próbuje odgadnąć kodowanie znaków niektórych bajtów?

Question

Piszę niektóre programy do przetwarzania poczty w Pythonie, które napotykają dziwne bajty w polach nagłówka. Podejrzewam, że to po prostu zniekształcona poczta; sama wiadomość twierdzi, że jest nas-ascii, więc nie sądzę, że istnieje prawdziwe kodowanie, ale chciałbym wydobyć ciąg znaków Unicode zbliżony do oryginalnego bez rzucania UnicodeDecodeError.

Poszukuję funkcji, która ma str i opcjonalnie kilka podpowiedzi, a jej darndest daje mi z powrotem unicode. Mógłbym oczywiście napisać, ale jeśli taka funkcja istnieje, autor prawdopodobnie pomyślał nieco głębiej o tym, jak najlepiej to osiągnąć.

Wiem również, że projekt Pythona preferuje jawne i niejawne oraz że standardowa biblioteka ma na celu uniknięcie ukrytej magii w dekodowaniu tekstu. Chcę tylko wyraźnie powiedzieć "śmiało i zgadnij".

Answer 1

O ile mi wiadomo, standardowa biblioteka nie ma funkcji, choć napisanie jej zgodnie z powyższym opisem nie jest trudne. Myślę, że prawdziwą rzeczą, której szukałem, był sposób dekodowania ciągu znaków i zagwarantowania, że ​​nie wyrzuci wyjątku. Parametr errors do string.decode to robi.

def decode(s, encodings=('ascii', 'utf8', 'latin1')): 
    for encoding in encodings: 
     try: 
      return s.decode(encoding) 
     except UnicodeDecodeError: 
      pass 
    return s.decode('ascii', 'ignore') 

Answer 2

Możesz być zainteresowany Universal Encoding Detector.

Answer 3

+1 dla modułu chardet (zalecane przez @insin).

To nie jest w bibliotece standardowej, ale łatwo można go zainstalować za pomocą następującego polecenia:

$ pip install chardet 

Example:

>>> import chardet 
>>> import urllib 
>>> detect = lambda url: chardet.detect(urllib.urlopen(url).read()) 
>>> detect('http://stackoverflow.com') 
{'confidence': 0.85663169917190185, 'encoding': 'ISO-8859-2'}  
>>> detect('https://stackoverflow.com/questions/269060/is-there-a-python-lib') 
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'} 

Zobacz Installing Pip jeśli nie masz.

Answer 4

Najlepszym sposobem na zrobienie tego, co znalazłem, jest iteracyjne próbowanie odkodowania potencjalnego z każdym z najczęstszych kodowań wewnątrz bloku próba oprócz bloku.