Delphi Unicode String Length w bajtach

Question

Pracuję nad przeniesieniem kodu Delphi 7 do XE4, więc tematem jest tutaj unicode.

Mam metodę, w której ciąg jest zapisywany do TMemoryStream, więc zgodnie z this embarcadero article powinienem pomnożyć długość ciągu znaków (w znakach) razy rozmiar typu Char, aby uzyskać długość w bajtach, które są potrzebne dla parametru length (w bajtach) do WriteBuffer.

więc przed:

rawHtml : string; //AnsiString 
... 
memorystream1.WriteBuffer(Pointer(rawHtml)^, Length(rawHtml); 

po:

rawHtml : string; //UnicodeString 
... 
memorystream1.WriteBuffer(Pointer(rawHtml)^, Length(rawHtml)* SizeOf(Char)); 

moje rozumienie Delphi typu UnicodeString jest to, że UTF-16 wewnętrznie. Ale moje ogólne zrozumienie Unicode polega na tym, że nie wszystkie znaki Unicode mogą być reprezentowane nawet w 2 bajtach, a niektóre znaki obce przypadku zajmą 4 bajty. Another of embarcadero's articles wydaje się potwierdzać moje podejrzenia: "W rzeczywistości nie zawsze jest prawdą, że jeden znak równy jest dwóm bajtom!"

Więc ... to mnie zastanawia, czy Length(rawHtml)* SizeOf(Char) będzie wystarczająco solidny, aby być konsekwentnie dokładnym, czy też istnieje lepszy sposób określenia rozmiaru ciągu, który będzie dokładniejszy?

Answer 1

Moje rozumienie Delphi typu UnicodeString jest to, że UTF-16 wewnętrznie.

Masz rację co do kodowania UTF-16 w Delphi UnicodeString.Oznacza to, co jeden 16-bitowy znak jest wystarczająco szeroki, aby reprezentować wszystkie code points z Basic Multilingual Plane jako dokładnie jeden element Char tablicy.

Ale moje ogólne zrozumienie Unicode jest to, że nie wszystkie znaki Unicode można przedstawić nawet w 2 bajtach, że niektóre rogu liter zagranicznych zajmie 4 bajty.

Jednak masz tu trochę nieporozumień. Funkcja Length nie wykonuje żadnej głębokiej inspekcji znaków i po prostu zwraca liczbę 16-bitowych elementów WideChar, nie biorąc pod uwagę żadnych surogatek w łańcuchu. To znaczy co, jeśli przypisać pojedynczy znak z dowolnego Supplementary Planes do UnicodeString, Length powróci 2.

program Egyptian; 

{$APPTYPE CONSOLE} 

var 
    S: UnicodeString; 

begin 
    S := #$1304E; // single char 
    Writeln(Length(S)); 
    Readln; 
end. 

---

Zawarcie: wielkość bajt danych ciąg jest zawsze stała i równa Length(S) * SizeOf(Char), bez względu na jeśli S zawiera dowolne znaki o zmiennej długości.

Answer 2

Kod Delphi UnicodeString jest kodowany z UTF-16. UTF-16 jest kodowaniem o zmiennej długości, podobnie jak UTF-8. Innymi słowy, pojedynczy punkt kodowy Unicode może wymagać wielu elementów znakowych do jego kodowania. Jako punkt zainteresowania, jedyną stałą kodowaniem Unicode jest UTF-32. Kodowanie UTF-16 wykorzystuje 16-bitowe elementy znakowe, stąd nazwa.

W języku Unicode Delphi, Char jest aliasem dla WideChar, który jest elementem znaków UTF-16. I string jest aliasem dla UnicodeString, który jest tablicą elementów WideChar. Funkcja Length() zwraca liczbę elementów w tablicy.

Tak, SizeOf(Char) jest zawsze 2 dla UnicodeString. Niektóre punkty kodu Unicode są kodowane wieloma elementami znakowymi lub Char s. Ale Length() zwraca liczbę elementów znaków i , a nie liczbę punktów kodowych. Wszystkie elementy postaci mają ten sam rozmiar. Tak więc ma być poprawna.

Answer 3

Co robisz jest poprawne (z sizeof (Char)).

To, co się odnosi, polega na tym, że żaden znak nie odnosi się do jednego punktu kodowego (na przykład z powodu par zastępczych). Jednak znaki zakodowane w standardzie USC2 (NIE UTF-16) w ciągu znaków zajmują dokładnie taką ilość bajtów z wartością Length(Str) * sizeof(Char).

Należy pamiętać, że kodowanie Unicode używane w Delphi jest takie samo, jak wszystkie połączenia Windows API oczekujące w wariantach .... W.

Answer 4

Inni wyjaśnili, w jaki sposób kodowanie UnicodeString jest kodowane i jak obliczyć jego długość bajtową. Chcę tylko wspomnieć, że RTL ma już taką funkcję - SysUtils.ByteLength():

memorystream1.WriteBuffer(PChar(rawHtml)^, ByteLength(rawHtml));