UTF-8 W logowaniu Python, jak?

Question

Próbuję zalogować łańcuch kodowany w UTF-8 do pliku przy użyciu pakietu logowania Pythona. Jako zabawny przykład:

import logging 

def logging_test(): 
    handler = logging.FileHandler("/home/ted/logfile.txt", "w", 
            encoding = "UTF-8") 
    formatter = logging.Formatter("%(message)s") 
    handler.setFormatter(formatter) 
    root_logger = logging.getLogger() 
    root_logger.addHandler(handler) 
    root_logger.setLevel(logging.INFO) 

    # This is an o with a hat on it. 
    byte_string = '\xc3\xb4' 
    unicode_string = unicode("\xc3\xb4", "utf-8") 

    print "printed unicode object: %s" % unicode_string 

    # Explode 
    root_logger.info(unicode_string) 

if __name__ == "__main__": 
    logging_test() 

To eksploduje za pomocą UnicodeDecodeError w wywołaniu logging.info().

Na niższym poziomie pakiet rejestrowania w języku Python używa pakietu kodeków do otwarcia pliku dziennika, przekazując jako argument kodowanie "UTF-8". Wszystko dobrze i dobrze, ale próbuje napisać ciągi bajtów do pliku zamiast do obiektów unicode, które eksplodują. Zasadniczo, Python robi to:

file_handler.write(unicode_string.encode("UTF-8")) 

Kiedy należy to zrobić:

file_handler.write(unicode_string) 

Jest to błąd w Pythonie, albo ja biorąc szalone pigułki? FWIW, to jest instalacja Pythona 2.6.

Answer 1

Sprawdź, czy masz najnowszy Python 2.6 - niektóre błędy Unicode zostały znalezione i naprawione od czasu pojawienia się 2.6. Na przykład w systemie Ubuntu Jaunty uruchomiłem skrypt skopiowany i wklejony, usuwając tylko prefiks "/ home/ted /" z nazwy pliku dziennika. Wynik (skopiowany i wklejony z oknie terminala):

 
vinay@eta-jaunty:~/projects/scratch$ python --version 
Python 2.6.2 
vinay@eta-jaunty:~/projects/scratch$ python utest.py 
printed unicode object: ô 
vinay@eta-jaunty:~/projects/scratch$ cat logfile.txt 
ô 
vinay@eta-jaunty:~/projects/scratch$ 

na pole Windows:

 
C:\temp>python --version 
Python 2.6.2 

C:\temp>python utest.py 
printed unicode object: ô 

a zawartość pliku:

Może to także wyjaśniać dlaczego Lennart Regebro też nie mógł tego powtórzyć.

Answer 2

Spróbuj tego:

import logging 

def logging_test(): 
    log = open("./logfile.txt", "w") 
    handler = logging.StreamHandler(log) 
    formatter = logging.Formatter("%(message)s") 
    handler.setFormatter(formatter) 
    root_logger = logging.getLogger() 
    root_logger.addHandler(handler) 
    root_logger.setLevel(logging.INFO) 

    # This is an o with a hat on it. 
    byte_string = '\xc3\xb4' 
    unicode_string = unicode("\xc3\xb4", "utf-8") 

    print "printed unicode object: %s" % unicode_string 

    # Explode 
    root_logger.info(unicode_string.encode("utf8", "replace")) 


if __name__ == "__main__": 
    logging_test() 

Na co warto Spodziewałem się użyć codecs.open otworzyć plik z kodowaniem UTF-8, ale albo to domyślny lub coś innego się dzieje tutaj, ponieważ działa tak, jak jest.

Answer 3

Jeśli zrozumiałem problem właściwie ten sam problem powinien pojawić się w systemie po prostu zrobić:

str(u'ô') 

Chyba automatycznego kodowania do kodowania locale na Uniksie nie będzie działać dopóki nie zostaną włączone locale- świadomy if oddział w funkcji setencoding w swoim module site poprzez locale. Ten plik zwykle znajduje się w /usr/lib/python2.x, warto go jednak sprawdzić. AFAIK, locale-aware setencoding jest domyślnie wyłączony (jest to prawda dla mojej instalacji Pythona 2.6).

Do wyboru są:

• Niech figura System się na właściwej drodze do kodowania ciągów Unicode do bajtów lub zrobić to w kodzie (jakiś konfiguracji w miejscu specyficznym site.py jest potrzebne)
• Kodowanie Unicode ciągi w kodzie i wyprowadzają tylko bajty

Zobacz także The Illusive setdefaultencoding autorstwa Iana Bickinga i powiązanych linków.

Answer 4

Mając kod jak:

raise Exception(u'щ') 

Spowodowany:

File "/usr/lib/python2.7/logging/__init__.py", line 467, in format 
    s = self._fmt % record.__dict__ 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 

Dzieje się tak dlatego, że ciąg formatu jest ciąg bajtów, podczas gdy niektóre z argumentów format string jest Unicode ciągi ze znaków spoza ASCII :

>>> "%(message)s" % {'message': Exception(u'\u0449')} 
*** UnicodeEncodeError: 'ascii' codec can't encode character u'\u0449' in position 0: ordinal not in range(128) 

Tworzenie ciągu znaków w formacie Unicode rozwiązuje problem:

>>> u"%(message)s" % {'message': Exception(u'\u0449')} 
u'\u0449' 

Tak, w konfiguracji rejestrowania zrobić wszystko Unicode format string:

'formatters': { 
    'simple': { 
     'format': u'%(asctime)-s %(levelname)s [%(name)s]: %(message)s', 
     'datefmt': '%Y-%m-%d %H:%M:%S', 
    }, 
... 

I załatać Wartość domyślna logging formatowania używać formatu Unicode ciąg:

logging._defaultFormatter = logging.Formatter(u"%(message)s")