Python's string.format() i Unicode

Question

Mam problem z string.format() Pythona i przekazywanie do niego ciągów Unicode. Jest to podobne do this older question, z tym że w moim przypadku kod testowy wybucha na wydruku, a nie na wywołaniu logging.info(). Przekazywanie tego samego obiektu napisowego Unicode do obsługi rejestrowania działa dobrze.

Nie powiedzie się równie dobrze ze starszym formatem %, jak i string.format(). Aby upewnić się, że jest to obiekt typu string, który jest problemem, a nie drukowanie źle współpracujące z moim terminalem, próbowałem przypisać sformatowany ciąg do zmiennej przed drukowaniem.

def unicode_test(): 
    byte_string = '\xc3\xb4' 
    unicode_string = unicode(byte_string, "utf-8") 
    print "unicode object type: {}".format(type(unicode_string)) 
    output_string = "printed unicode object: {}".format(unicode_string) 
    print output_string 

if __name__ == '__main__': 
    unicode_test() 

Obiekt tekstowy wydaje się zakładać, że otrzymuje ASCII.

% python -V 
Python 2.7.2 

% python ./unicodetest.py 
unicode object type: <type 'unicode'> 
Traceback (most recent call last): 
    File "./unicodetest.py", line 10, in <module> 
    unicode_test() 
    File "./unicodetest.py", line 6, in unicode_test 
    output_string = "printed unicode object: {}".format(unicode_string) 
UnicodeEncodeError: 'ascii' codec can't encode character u'\xf4' in position 0: ordinal not in range(128) 

Próbujesz rzucić output_string, ponieważ Unicode nie robi żadnej różnicy.

output_string = u "drukowany obiekt unicode: {}". Format (unicode_string)

Am I brakuje czegoś tutaj? Dokumentacja obiektu typu string wydaje się całkiem jasna, że ​​to powinno działać tak, jak próbuję go użyć.

Answer 1

Nie, to nie powinno działać (czy można przytoczyć część dokumentacji, która tak mówi?), Ale powinno działać, jeśli wzór formatowania jest w Unicode (lub ze starym formatowaniem, które "promuje" wzorzec do unicodu zamiast próbuje "zdegradować" argumenty).

>>> x = "\xc3\xb4".decode('utf-8') 
>>> x 
u'\xf4' 
>>> x + 'a' 
u'\xf4a' 
>>> 'a' + x 
u'a\xf4' 
>>> 'a %s' % x 
u'a \xf4' 
>>> 'a {}'.format(x) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> UnicodeEncodeError: 'ascii' codec 
    can't encode character u'\xf4' in position 0: ordinal not in range(128) 
>>> u'a {}'.format(x) 
u'a \xf4' 
>>> print u"Foo bar {}".format(x) 
Foo bar ô 

Edit: Linia print nie może pracować dla Ciebie, jeśli ciąg Unicode nie mogą być kodowane przy użyciu kodowania swojej konsoli. Na przykład na mojej konsoli Windows:

>>> import sys 
>>> sys.stdout.encoding 
'cp852' 
>>> u'\xf4'.encode('cp852') 
'\x93' 

Na konsoli systemu UNIX może to być związane z ustawieniami narodowymi. To również się nie powiedzie, jeśli przekierujesz dane wyjściowe (np. Gdy używasz powłoki |). Większość z tych problemów została naprawiona w Pythonie 3.