ma (w) ifstream obsługuje różne kodowania

Question

Kiedy czytam plik tekstowy do szerokiego łańcucha znaków (std :: wstring) przy użyciu Wifstream, czy implementacja strumienia obsługuje różne kodowania - to znaczy może być wykorzystana do odczytu np. Pliki ASCII, UTF-8 i UTF-16?

Jeśli nie, co powinienem zrobić?

(I trzeba czytać całego pliku, jeżeli to robi różnicę)

Answer 1

C++ obsługuje kodowanie znaków za pomocą std::locale i aspektu std::codecvt. Ogólną ideą jest to, że obiekt locale opisuje aspekty systemu, które mogą różnić się w zależności od kultury, języka (człowieka) do języka. Aspekty te są podzielone na facet s, które są argumentami szablonu, które definiują sposób konstruowania obiektów zależnych od lokalizacji (włącznie ze strumieniami We/Wy). Po przeczytaniu z istream lub zapisaniu do ostream, rzeczywiste zapisywanie każdego znaku jest filtrowane poprzez fasety ustawień narodowych. Fasety obejmują nie tylko kodowanie znaków Unicode, ale także różne funkcje, takie jak zapisywanie dużych liczb (na przykład przecinkami lub kropkami), waluty, czasu, wielkich liter i mnóstwa innych szczegółów.

Jednak tylko dlatego, że istnieją urządzenia do kodowania, nie oznacza to, że biblioteka standardowa obsługuje wszystkie kodowania, ani nie czyni tego kodu prostym do zrobienia. Nawet takie podstawowe rzeczy, jak rozmiar postaci, którą powinieneś czytać (nie mówiąc już o kodowaniu) są trudne, ponieważ wchar_t może być zbyt mały (zniekształcanie danych) lub zbyt duży (marnowanie miejsca) i najbardziej powszechne kompilatory (np. Visual C++ i Gnu C++) do różnią się tym, jak duża jest ich implementacja. Więc zazwyczaj musisz znaleźć zewnętrzne biblioteki, aby wykonać faktyczne kodowanie.

• iconv jest ogólnie uznawany za poprawny, ale trudno znaleźć przykłady tego, jak powiązać go z mechanizmem C++.
• jla3ep mentionslibICU, która jest bardzo dokładna, ale C++ API nie próbuje grać ładnie ze standardem (o ile mogę powiedzieć. Można skanować examples aby sprawdzić, czy można to zrobić lepiej)

Najprostszym przykładem, jaki mogę znaleźć, obejmującym wszystkie bazy, jest Boost UTF-8 codecvt facet, z przykładem, który w szczególności próbuje kodować UTF-8 (UCS4) do użytku przez strumienie IO. Wygląda na to, chociaż nie sugeruję po prostu skopiować go dosłownie. To zajmuje trochę więcej kopanie w the source go zrozumieć (i nie mam zastrzeżeń do):

typedef wchar_t ucs4_t; 

std::locale old_locale; 
std::locale utf8_locale(old_locale,new utf8_codecvt_facet<ucs4_t>); 

... 

std::wifstream input_file("data.utf8"); 
input_file.imbue(utf8_locale); 
ucs4_t item = 0; 
while (ifs >> item) { ... } 

Aby zrozumieć więcej o lokalizacjach, oraz sposób ich używać aspekty (w tym codecvt), przyjrzeć się następujące :

• Nathan Myers ma numer thorough explanation of locales and facets. Myers był jednym z projektantów koncepcji lokalizacji. Ma more formal documentation, jeśli chcesz przebrnąć przez to.
• Implementacja biblioteki standardowej Apache (dawniej RogueWave) ma numer full list of facets.
• Nicolai Josuttis 'The C++ Standard Library Rozdział 14 poświęcony jest tematowi.
• Angelika Langer i Klaus Kreft za Standard C++ IOStreams and Locales poświęcają całą książkę.

Answer 2

Konstrukcja szeroki ciąg znaków i szerokości strumienia znaków pre-daty UTF-8, UTF-16 i Unicode. Jeśli chcesz uzyskać techniczne, standardowy łańcuch i standardowy strumień niekoniecznie działają w ASCII (po prostu wszystkie komputery używające ASCII mogą mieć maszynę EBCDIC).

Raymond Chen raz wrote a series illustrating how to work with different wide character stream/string types.

Answer 3

ifstream nie dba o kodowanie pliku. Po prostu odczytuje znaki (bajty) z pliku. wifstream czyta szerokie bajty (wchar_t), ale nadal nie wie nic o kodowaniu plików. wifstream jest wystarczająco dobry dla UCS-2 - kodowanie znaków o stałej długości dla Unicode (każdy znak jest reprezentowany dwoma bajtami).

Można użyć biblioteki IBM ICU do obsługi plików Unicode.

Międzynarodowy Komponent dla Unicode (ICU) jest dojrzałym, przenośny zestaw C/C++ i biblioteki Java dla wsparcia Unicode, internacjonalizacji Oprogramowanie (i18n) i globalizacji (G11N), dzięki czemu aplikacje te same wyniki na wszystkich platformach .

ICU jest wydana na podstawie nieograniczonej licencji typu open source, która jest odpowiednia do użytku zarówno z komercyjnym oprogramowaniem, jak iz innym oprogramowaniem typu open source lub bezpłatnym.