Jak przekonwertować plik * .txt na Unicode

Question

Mam wymaganie, gdy klient dostarczy plik w kodowaniu ANSI, ale mój system może tylko z powodzeniem odczytać plik w standardzie UNICODE. Jak więc rozwiązać ten problem? Wiem, kiedy zapisuję plik jako kodowany w standardzie UNICODE, a plik jest pobierany. Trudno jest dostosować klienta do naszej prośby. Więc czy mogę mieć jakiś program wsadowy dla tego folderu, aby przekonwertować ten plik na UNICODE, a następnie odebrać?

Answer 1

recode może wykonać zadanie.

Answer 2

iconv może to zrobić:

Usage: iconv [OPTION...] [FILE...] 
Convert encoding of given files from one encoding to another. 

Input/Output format specification: 
    -f, --from-code=NAME  encoding of original text 
    -t, --to-code=NAME   encoding for output 

Information: 
    -l, --list     list all known coded character sets 

Output control: 
    -c       omit invalid characters from output 
    -o, --output=FILE   output file 
    -s, --silent    suppress warnings 
     --verbose    print progress information 

    -?, --help     Give this help list 
     --usage    Give a short usage message 
    -V, --version    Print program version 

Mandatory or optional arguments to long options are also mandatory or optional 
for any corresponding short options. 

For bug reporting instructions, please see: 
<http://www.gnu.org/software/libc/bugs.html>. 

Answer 3

Można również łatwo konwertować kodowania w Pythonie:

inf = open("infile.txt") 
data = inf.read().decode("latin1") 
inf.close() 

outf = open("outfile.txt", "w") 
outf.write(data.encode("utf-8")) 
outf.close() 

Answer 4

Oto rozwiązanie PowerShell

$lines = gc "pathToFile" 
$lines | out-file -enconding Unicode 

Answer 5

Ani ANSI ani Unicode są kodowania. Będziesz musiał znać stronę kodową ANSI pliku wejściowego i enco Unicode ding (UTF8 lub UTF16 - LE lub BE) przed użyciem jednego z sugerowanych narzędzi (takich jak iconv)

Answer 6

Przeszedłem przez niektóre narzędzia wspomniane powyżej, wiele z nich wymaga linii poleceń.

Znalazłem o wiele łatwiejszy sposób konwertowania plików w systemie Windows.

1. Instalacja Notepad2 (http://www.flos-freeware.ch/). Jest otwarty i bezpłatny.

2. Otwórz plik ma kodowanie ANSI

3. kliknij dwukrotnie "ANSI" słowo na dole,

4. wybrać nowe kodowanie takie jak "utf8"

5. zapisać plik.

To tylko kilka kliknięć, aby wykonać pracę.

Co więcej, można raz przeglądać zawartość, aby dokonać podwójnego sprawdzenia.

Notepad2 ma wiele zalet w stosunku do Notatnika. Kod podświetleniu Undo/Redo itp

: D

Answer 7

Ruby oneliner, FWIW:

ruby -e 'STDOUT.write STDIN.read.force_encoding(Encoding::WINDOWS_1252).encode!(Encoding::UTF_8)' <infile.csv> outfile.csv 

Jeśli plik wejściowy jest straszne może trzeba taktykę STDIN.binmode; STDOUT.binmode; na przedniej części skryptu Ruby.