Jak mogę iterować przez punkty kodowe Unicode ciągu Java?

Question

Tak więc wiem o String#codePointAt(int), ale jest on indeksowany przez przesunięcie char, a nie przez offset kodu współrzędnych.

myślę o próbuje coś takiego:

• użyciu String#charAt(int) uzyskać char w indeksie
• testowania czy char jest w high-surrogates range
  • jeśli tak, aby wykorzystać String#codePointAt(int) uzyskaj punkt kodowy i zwiększ wartość indeksu o 2
  • , jeśli nie, użyj podanego char wartość jako punkt kodowy, a przyrost wskaźnika o 1

Ale moje obawy są

• Nie jestem pewien, czy codepoints które są naturalnie w wysokich surogatów zasięg będą przechowywane jako dwie wartości lub jedna
• wydaje się to bardzo kosztownym sposobem na przerabianie znaków. Ktoś musiał wymyślić coś lepszego.

Answer 1

Tak, Java wykorzystuje kodowanie UTF-16-owskiej dla wewnętrznych reprezentacji smyczki, i, tak, że koduje znaki spoza Basic Multilingual Plane (BMP) za pomocą programu macierzyństwa zastępczego.

Jeśli wiesz, że będziesz mieć do czynienia ze znakami spoza BMP, to tutaj jest kanoniczny sposób iteracyjne ciągu znaków Java wyrażenie:

final int length = s.length(); 
for (int offset = 0; offset < length;) { 
    final int codepoint = s.codePointAt(offset); 

    // do something with the codepoint 

    offset += Character.charCount(codepoint); 
} 

Answer 2

Iteracja nad punktów kodowych przekazany jest jako cecha żądanie w niedz.

Zobacz Sun Bug Entry

Jest też przykładem, w jaki sposób iteracyjne nad codepoints String tam.

Answer 3

myślałem, że dodać metodę obejście, które współpracuje z pętli foreach (ref), plus można przekonwertować go na nowy ciąg # codepoints metody Java 8 jest łatwo po przeniesieniu do java 8:

public static Iterable<Integer> codePoints(final String string) { 
    return new Iterable<Integer>() { 
    public Iterator<Integer> iterator() { 
     return new Iterator<Integer>() { 
     int nextIndex = 0; 
     public boolean hasNext() { 
      return nextIndex < string.length(); 
     } 
     public Integer next() { 
      int result = string.codePointAt(nextIndex); 
      nextIndex += Character.charCount(result); 
      return result; 
     } 
     public void remove() { 
      throw new UnsupportedOperationException(); 
     } 
     }; 
    } 
    }; 
} 

Następnie można go używać z foreach tak:

for(int codePoint : codePoints(myString)) { 
    .... 
} 

lub na przemian, jeśli po prostu chcesz przekonwertować ciąg do tablicy int (które może wykorzystać więcej pamięci RAM niż powyższego podejścia):

public static List<Integer> stringToCodePoints(String in) { 
    if(in == null) 
     throw new NullPointerException("got null"); 
    List<Integer> out = new ArrayList<Integer>(); 
    final int length = in.length(); 
    for (int offset = 0; offset < length;) { 
     final int codepoint = in.codePointAt(offset); 
     out.add(codepoint); 
     offset += Character.charCount(codepoint); 
    } 
    return out; 
    } 

Answer 4

Java 8 dodano CharSequence#codePoints, która zwraca IntStream zawierający punkty kodowe. Można użyć strumienia bezpośrednio iteracyjne nad nimi:

string.codePoints().forEach(c -> ...); 

lub z pętli for zbierając strumienia do tablicy:

for(int c : string.codePoints().toArray()){ 
    ... 
} 

Te sposoby są prawdopodobnie droższe niż Jonathan Feinbergs's solution, ale są szybsze do odczytu/zapisu, a różnica w wydajności zazwyczaj nie jest znacząca.