Reading arabski z pliku JSON

Question

Chcę odczytać plik JSON w Pythonie, który zawiera tekst, ale tekst arabski arabski to wyglądać, że:

ط§ظ„ط³ظژط¹ظژط§ط¯ظژط©ظگ ظ„ظژظٹظگط³ظژطھظŒ ط§ظ„ط­ظژطµظŒظˆظژظ„ظژ ط¹ظژظ„ظ‰ظژ 
ظ…ط§ظژ ظ„ط§ظ†ظژظ…ظ„ظگظƒظژ ط¨ظژظ„ ظ‡ظگظٹظژ ط£ظ†ظژ ظ†ظژظپظ‡ظŒظ…ظژ 
ظˆظژظ†ظگط¯ط±ظژظƒظژ ظ‚ظژظٹظگظ…ط©ظڈ ظ…ظژط§ظ†ظژظ…ظ„ظƒ 

Jak można odczytać odpowiednie litery arabskie?

import sys 
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) 
print(x.translate(non_bmp_map)) 

x to parametr zawierający wartości arabskie z pliku JSON. Spodziewałem się uzyskać następujące zdanie: الظ طأظژط ظ ... ططظژ ظ "ططظ † ظژظ ... ظ" ظگظ ƒ ظژ ط¨ظژظ "ظ ‡ ظگظٹظژ ط ظ † ظژظپظ ظژظپظ ظژظپظ ظ ظ Œ ظ ... ظژ ظظژظ † ظگط¯ط ظژظ ظژظ ƒ ظژ ظ, ظژظٹظگظ ... ط ظڈ ظ ... ظژط§ظ † ظژظ ... ظ „ظ ƒ

Answer 1

nie wspomniano, jeśli używasz Python 3 lub 2. W Pythonie 3, ciągi są Unicode domyślnie.

Jeśli używasz Python 2, użyj codec:

import codecs 
f = codecs.open('unicode.rst', encoding='utf-8') 
for line in f: 
    print repr(line) 

Ref: Unicode How-to

---

Jest jednak możliwe, że dane wejściowe nie jest poprawnie zakodowany. W takim przypadku możesz spróbować użyć opcji ftfy package.

ftfy implementuje kilka heurystyk, aby naprawić złamane/niekonsekwentne kodowanie Unicode. Od docs:

>>> from ftfy import fix_encoding 
>>> print(fix_encoding("(ง'⌣')ง")) 
(ง'⌣')ง