Jak przekonwertować znaki spoza ASCII zakodowane w UTF8 na równoważnik ASCII w Perlu?

Question

Mam skrypt Perla, który jest wywoływany przez osoby trzecie, aby wysłać mi nazwiska osób, które zarejestrowały moje oprogramowanie. Jedna z tych stron koduje nazwy w UTF-8, więc odpowiednio dostosowałem mój skrypt, aby odszyfrować kodowanie UTF-8 do ASCII za pomocą Encode :: decode_utf8 (...).

Zwykle działa dobrze, ale co 6 miesięcy jedna z nazw zawiera znaki cyrylicy, greki lub rumuńskie, więc dekodowanie nazwy powoduje powstawanie znaków śmieci, takich jak "ПоÐ'Ñ € Ð ° жР° нÑкР° Ñ ​​". Muszę skontaktować się z klientem i poprosić go o "łacińską wersję postaci" jego nazwiska w celu wydania kodu rejestracyjnego.

Więc jest jakiś moduł Perl, które mogą wykryć, czy istnieją takie znaki i automatycznie przekłada je do najbliższego ASCII w razie potrzeby?

Wygląda na to, że mogę używać Lingua :: Cyrillic :: Translit :: ICAO plus Lingua :: DetectCharset do obsługi cyrylicy, ale wolę coś, co działa również z innymi zestawami znaków.

Answer 1

wierzę można użyć Text::Unidecode dla tego, to właśnie to, co próbuje zrobić.

Answer 2

Jeśli masz do czynienia z UTF-8 danych, które nie mieszczą się w zakresie ASCII, najlepiej jest zmienić backend więc nie dusić na UTF-8. Jak byś posunął się do transliteracji znaków kanji?

Answer 3

Jeśli otrzymasz tekst cyrylicowy, dla wielu postaci nie ma "najbliższej reprezentacji ASCII".

Answer 4

W dokumentacji Text :: Unicode, w sekcji „Ostrzeżenia”, wydaje się, że to zdanie jest błędne:

Upewnij się, że dane wejściowe naprawdę jest ciągiem znaków utf8.

UTF-8 to kodowanie o zmiennej długości, natomiast Text :: Unidecode akceptuje kodowanie o stałej długości (dwubajtowe) dla każdego znaku. Tak że zdanie powinno brzmieć:

Upewnij się, że dane wejściowe naprawdę jest ciągiem dwa-bajtowych znaków Unicode.

Jest to również nazywane UCS-2.

Jeśli chcesz przekonwertować ciągi, które są naprawdę utf8, by to zrobić tak:

my $decode_status = utf8::decode($input_to_be_converted); 
my $converted_string = unidecode ($input_to_be_converted);