Jak przekonwertować koniec systemu Windows na końcu linii (CR/LF na LF)?

Question

Jestem programistą Java i używam Ubuntu do rozwoju. Projekt został stworzony w systemie Windows z Eclipse i wykorzystuje kodowanie CP1252.

Aby przekonwertować na UTF-8 Użyłem programu recode:

find Web -iname \*.java | xargs recode CP1252...UTF-8 

to polecenie daje ten błąd:

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data 

Mam serached o tym i uzyskać rozwiązanie tutaj: http://fvue.nl/wiki/Bash_and_Windows#Recode:_Ambiguous_output_in_step_.60data..CR-LF.27 i mówi:

Convert line endings from CR/LF to a single LF: Edit the file with vim , give the command :set ff=unix and save the file. Recode now should run without errors.

ładne, ale mam wiele plików, aby usunąć znak CR/LF, Nie mogę otworzyć każdego, aby to zrobić. Vi nie udostępnia opcji wiersza poleceń dla operacji basha.

sed może być do tego użyty? W jaki sposób ?

Thankx =)

Answer 1

Nie powinno być program o nazwie dos2unix który naprawia końca linii dla Ciebie. Jeśli nie znajduje się już na twoim Linux-ie, powinien być dostępny przez menedżera pakietów.

Answer 2

Polecenie tr może też to zrobić:

tr -d '\ 15 \ 32' < winfile.txt> unixfile.txt

i powinny być dostępne dla Ciebie.

Musisz uruchomić tr z poziomu skryptu, ponieważ nie może działać z nazwami plików. Na przykład utworzyć myscript.sh pliku:

#!/bin/bash 

cd ${1} 
for f in `find -iname \*.java`; do 
    echo $f 
    tr -d '\15\32' < $f > $f.tr 
    mv $f.tr $f 
    recode CP1252...UTF-8 $f 
done 

Running myscript.sh Web będzie przetwarzać wszystkie pliki Java w folderze Web.

Answer 3

Wróć do systemu Windows, powiedz Eclipse, aby zmienić kodowanie na UTF-8, a następnie z powrotem do systemu Unix i uruchom d2u na plikach.

Answer 4

Czy próbowałeś python script by Bryan Maupin found here? (I zostały zmodyfikowane go trochę być bardziej ogólne)

#!/usr/bin/env python 

import sys 

input_file_name = sys.argv[1] 
output_file_name = sys.argv[2] 

input_file = open(input_file_name) 
output_file = open(output_file_name, 'w') 

line_number = 0 

for input_line in input_file: 
    line_number += 1 
    try: # first try to decode it using cp1252 (Windows, Western Europe) 
     output_line = input_line.decode('cp1252').encode('utf8') 
    except UnicodeDecodeError, error: # if there's an error 
     sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error)) # write to stderr 
     try: # then if that fails, try to decode using latin1 (ISO 8859-1)   
      output_line = input_line.decode('latin1').encode('utf8') 
     except UnicodeDecodeError, error: # if there's an error 
      sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error)) # write to stderr 
      sys.exit(1) # and just keep going 
    output_file.write(output_line) 

input_file.close() 
output_file.close() 

Można użyć tego skryptu z

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql 

Answer 5

W celu przezwyciężenia

Ambiguous output in step `CR-LF..data' 

prostu rozwiązaniem mogłoby być dodaj flagę -f, aby wymusić konwersję.

Answer 6

sed nie może dopasować \ n ponieważ końcowa nowa linia jest usuwana przed linia jest umieszczana w obszarze wzorca, ale może pasować do \ r, więc możesz przekonwertować \ r \ n (dos) na \ n (unix), usuwając \ r

sed -i 's/\r//g' file 

Ostrzeżenie: to zmieni oryginalny plik

jednak nie można zmienić z unix EOL do DOS lub starego Mac (\ R) od tego. Więcej odczyty tutaj:

How can I replace a newline (\n) using sed?

Answer 7

Właściwie vim zezwala co szukasz. Wprowadź vim i wpisz następujące polecenia:

:args **/*.java 
:argdo set ff=unix | update | next 

Pierwszy z tych poleceń ustala listę argumentów do każdego pliku pasującego **/*.java, czyli wszystkie pliki Java, rekurencyjnie. Drugi z tych poleceń wykonuje następujące do każdego pliku w liście argumentów, z kolei:

• Ustawia line-zakończeń do stylu Unix (już o tym wiedzą)
• Zapisuje plik z IFF, że został zmieniony
• przejście do następnego pliku

Answer 8

wezmę trochę wyjątek odpowiedź jichao użytkownika. W zasadzie możesz z łatwością zrobić wszystko, o czym mówił. Zamiast szukać \ n, po prostu szukaj pliku danych na końcu wiersza.

Aby przejść z systemu Unix z powrotem do Dos, wystarczy poszukać ostatniego znaku na linii i dodać do niego kanał. (Dodam -r aby to łatwiejsze z grep wyrażeń regularnych.)

sed -ri 's/(.)$/\1\r/ ${FILE_NAME} 

Teoretycznie, plik może zostać zmieniona na stylu mac poprzez dodanie kodu do ostatniego przykładu, który również dołącza następną linię wejścia do pierwszy wiersz, dopóki wszystkie linie nie zostaną przetworzone. Nie będę tu jednak próbował tego przykładu.

Ostrzeżenie: -i zmienia rzeczywisty plik. Jeśli chcesz utworzyć kopię zapasową, dodaj ciąg znaków po -i. Spowoduje to przeniesienie istniejącego pliku do pliku o tej samej nazwie z dodanymi znakami na końcu.