Python: Jak wymusić wyjście pliku iso-8859-1?

Question

Jak wymusić wyjście pliku Latin-1 (co, jak sądzę, oznacza iso-8859-1?) W Pythonie?

Oto mój kod w tej chwili. Działa, ale próba importu wynikowego pliku do tabeli MySQL Latin-1 generuje weird encoding errors.

outputFile = file("textbase.tab", "w") 
for k, v in textData.iteritems(): 
    complete_line = k + '~~~~~' + v + '~~~~~' + " ENDOFTHELINE" 
    outputFile.write(complete_line) 
    outputFile.write("\n") 
outputFile.close() 

Powstały plik wyjściowy wydaje się być zapisane w „Zachodniej (Mac OS Roman)”, ale jeśli następnie zapisać go w Latin-1, wciąż otrzymuję dziwne problemy kodowania. Jak mogę się upewnić, że użyte ciągi i sam plik są zakodowane w Latin-1, gdy tylko zostaną wygenerowane?

Oryginalne ciągi (w słowniku textData) zostały przeanalizowane z pliku RTF - nie wiem, czy to ma znaczenie.

Jestem trochę nowy w Pythonie i ogólnie kodowania, więc przepraszam, jeśli to głupie pytanie. Próbowałem spojrzeć na dokumenty, ale nie zaszły daleko.

Używam Python 2.6.1.

Answer 1

Wystarczy użyć modułu codecs do zapisu pliku:

import codecs 
outputFile = codecs.open("textbase.tab", "w", "ISO-8859-1") 

Oczywiście, struny piszesz muszą być ciągi Unicode (typ unicode), nie zostaną zamienione, jeżeli są one gładkie str obiekty (które są w zasadzie po prostu tablicami bajtów). Sądzę, że czytasz plik RTF z normalnym obiektem pliku Python, więc możesz również przekonwertować to na używanie codecs.open.

Answer 2

myślę, że to po prostu:

outputFile = file("textbase.tab", "wb") 
for k, v in textData.iteritems(): 
    complete_line = k + '~~~~~' + v + '~~~~~' + " ENDOFTHELINE" 
    outputFile.write((complete_line + "\n").encode("iso-8859-1")) 
    outputFile.close() 

Jak wspomniałem, trzeba upewnić się, czy dekodowanie pliku RTF zbyt poprawnie. Aby to działało, k i v powinny być obiektami unikodowymi.

Answer 3

Głównym problemem jest to, że nie wiesz, jakie jest kodowanie danych. Jeśli założymy, że masz rację pod tym względem, że Twój plik kończy się na Mac OS Roman, musisz najpierw zdekodować dane, aby najpierw unicode , a następnie zakoduj go jako iso-8859-1.

inputFile = open("input.rtf", "rb") # The b flag is just a marker in Python 2. 
data = inputFile.read().decode('mac_roman') 
textData = yourparsefunctionhere(data) 

outputFile = open("textbase.tab", "wb") # don't use file() 
for k, v in textData.iteritems(): 
    complete_line = k + '~~~~~' + v + '~~~~~' + " ENDOFTHELINE" 
    outputFile.write((complete_line + "\n").encode("iso-8859-1")) 
    outputFile.close() 

Ale nie byłbym zaskoczony, ponieważ jest to RTF, jeśli jest zakodowany w systemie Windows, więc możesz też spróbować. Nie wiem, jak RTF określa kodowanie.

Answer 4

Dla mnie io.open działa nieco szybciej na Pythona 2.7 do zapisu, a rząd wielkości szybciej brzmi:

import io 
with io.open("textbase.tab", "w", encoding="ISO-8859-1") as outputFile: 
    ... 

W Pythonie 3, można po prostu pass the encoding keyword arg to open ty.