Jak dopasować "i" do tureckiego w java?

Question

Chcę dopasować małą literę "I" języka angielskiego (i) do małej litery "İ" języka tureckiego (i). Są one tym samym glifem, ale nie pasują do siebie. Kiedy robię System.out.println("İ".toLowerCase());, drukowany jest znak i oraz kropka (strona ta nie wyświetla się poprawnie)

Czy istnieje sposób na ich dopasowanie? (Najlepiej bez twardego kodowania) Chcę, aby program pasował do tego samego glify niezwiązane z językiem i kodem utf. czy to możliwe?

Testowałem normalizację bez powodzenia.

public static void main(String... a) { 
    String iTurkish = "\u0130";//"İ"; 
    String iEnglish = "I"; 
    prin(iTurkish); 
    prin(iEnglish); 
} 

private static void prin(String s) { 
    System.out.print(s); 
    System.out.print(" - Normalized : " + Normalizer.normalize(s, Normalizer.Form.NFD)); 
    System.out.print(" - lower case: " + s.toLowerCase()); 
    System.out.print(" - Lower case Normalized : " + Normalizer.normalize(s.toLowerCase(), Normalizer.Form.NFD)); 
    System.out.println(); 

} 

Wynik nie jest właściwie pokazano na miejscu, ale pierwsza linia (iTurkish) nadal ma ̇ pobliżu małej litery i.

Cel i problem

To będzie multi słownik językowy. Chcę, aby program mógł rozpoznać, że "İFEL" zaczyna się od "if". Aby upewnić się, że nie są one wrażliwe na wielkość liter, najpierw konwertuję oba teksty na małe litery. İFEL staje I (dot) Fel i „jeśli” nie jest rozpoznawana jako jego części

Answer 1

Jeśli wydrukować wartości hex bohaterów widzisz, różnica jest oczywista:

İ 0x130 - Normalized : İ 0x49 0x307 - Lower case: i̇ 0x69 0x307 - Lower case Normalized : i̇ 0x69 0x307 
I 0x49 - Normalized : I 0x49 - Lower case: i 0x69 - Lower case Normalized : i 0x69 

Normalizowanie języka tureckiego İ nie daje angielskiego I, zamiast tego daje angielski I, po którym następuje znak diakrytyczny, 0x307. Jest to poprawne i można się spodziewać w procesie normalizacji. Normalizacja nie jest operacją "Konwertuj na ASCII". Jak wspomina dokumentacja dla Normalizer, proces, który stosuje, jest bardzo rygorystycznie zdefiniowanym standardem, czyli.

Istnieje numerous ways to strip diacritics, przed lub po normalizacji. Co trzeba będzie zależeć od specyfiki przypadku użycia, ale dla przypadku użycia Sugerowałbym użyciu Guava „s CharMatcher klasy rozebrać znaków spoza ASCII po normalizacji, np:

String asciiString = CharMatcher.ASCII.retainFrom(normalizedString); 

---

This answer idzie bardziej szczegółowo o tym, co robi \p{InCombiningDiacriticalMarks} i dlaczego nie jest idealny. Moje rozwiązanie CharMatcher też nie jest idealne (połączona odpowiedź oferuje bardziej niezawodne rozwiązania), ale dla szybkiej naprawy może się okazać, że zachowujesz tylko znaki ASCII "wystarczająco dobre". Jest to bliższe "poprawne" i szybsze niż podejście oparte na Pattern.

Answer 2

Można użyć kodu poniżej:

public static void main(String... a) { 

     String iTurkish = "\u0130";//"İ"; 
     String iEnglish = "I"; 
     prin(iTurkish); 
     prin(iEnglish); 


} 

private static void prin(String s) { 
    System.out.print(s); 
    String nfdNormalizedString = Normalizer.normalize(s, Normalizer.Form.NFD); 
    Pattern pattern = Pattern.compile("\\p{InCombiningDiacriticalMarks}+"); 
    System.out.print(" - Normalized : " + pattern.matcher(nfdNormalizedString).replaceAll("")); 
    System.out.print(" - lower case: " + s.toLowerCase()); 
    System.out.print(" - Lower case Normalized : " + Normalizer.normalize(pattern.matcher(nfdNormalizedString).replaceAll("").toLowerCase(), Normalizer.Form.NFD)); 
    System.out.println(); 

} 

Albo zobaczyć Converting Symbols, Accent Letters to English Alphabet