Jak usunąć znaki Unicode z kilku plików tekstowych na terminalu? Próbowałem tego, ale to nie działa:Usuwanie znaków Unicode z plików tekstowych - sed, inne metody bash/powłoki
sed 'g/\u'U+200E'//' -i *.txt
muszę usunąć te Unicode z TextFiles
U+0091 - sort of weird "control" space
U+0092 - same sort of weird "control" space
A0 - non-space break
U+200E - left to right mark
Jeśli chcesz usunąć tylko poszczególne znaki i trzeba Pythona można:
CHARS=$(python -c 'print u"\u0091\u0092\u00a0\u200E".encode("utf8")')
sed 's/['"$CHARS"']//g' </tmp/utf8_input.txt> /tmp/ascii_output.txt
Może nie najładniejsza. Ale dla mnie to zadziałało bardzo dobrze. Konstruując zmienną CHARS, stała się łatwiejsza do odczytania, a zmienna CHARS może być łatwo utrzymana. Odpowiedź Choroby też działa, więc myślę, że to kwestia gustu (i jeśli masz pod ręką Python). – Paulb
Jest to alternatywny kod części Pythona "python -c" print "" .join (map (unichr, range (0x80, 0xa0) + range (0x2000, 0x200f))). Encode ("utf-8") " ' –
w ostatnich wersjach systemu Linux można pisać znaki Unicode, naciskając Ctrl + Shift + U, a następnie kod liczbowy i
Zastosowanie iconv:
iconv -f utf8 -t ascii//TRANSLIT </tmp/utf8_input.txt> /tmp/ascii_output.txt
To przełoży znaków jak "Š" do "S" (najbardziej podobne wyglądające).
nie są one ascii, chcę zachować je w utf8, ale chcę zamienić te dziwne spacje na normalny pusty ciąg '' "' – alvas
Zobacz moją inną odpowiedź –
Nie, co OP chciał, ale miałem potrzebę konwertowania unicode liniowy separator (u2028) do nowej linii. Wolałbym używać iconv, ale nie mogłem wymyślić, jak to zrobić. Czy istnieje sposób? –
wyraźne wszystko non-ASCII znaków z file.txt
$ iconv -c -f utf-8 -t ascii file.txt
$ strings file.txt
Chcę zachować kodowanie Unicode. przepraszam, więc iconv nie jest rozwiązaniem. – alvas
Dlaczego po prostu nie możesz uruchomić go w odwrotnej kolejności? tempf = $ (mktemp) iconv -c -f utf-8 -t plik ascii.txt> $ tempf iconv -f ascii -t utf-8 $ tempf> plik.txt –
UTF-8 jest prawidłowym podzbiorem ASCII. Transformacja odwrotna powoduje, że plik pozostaje niezmieniony. –
Konwertuj pliki Swift z utf-8 ASCII:
for file in *.swift; do
iconv -f utf-8 -t ascii "$file" > "$file".tmp
mv -f "$file".tmp "$file"
done
Co kodowanie plików tekstowych w? – unwind