Konwertuj ciągi znaków ISO-8859-1 na kodowanie UTF-8 w języku C/C++

Question

Można by sądzić, że będzie to łatwo dostępne, ale ciężko jest znaleźć prostą funkcję biblioteki, która konwertuje ciąg znaków C lub C++ z ISO -8859-1 kodowanie do UTF-8. Czytam dane w 8-bitowym kodowaniu ISO-8859-1, ale trzeba je przekonwertować na ciąg znaków UTF-8, aby można go było użyć w bazie danych SQLite, a także w aplikacji na Androida.

Znalazłem jeden produkt komercyjny, ale obecnie jest to poza moim budżetem.

Answer 1

Jeśli kodowanie źródła będzie zawsze być ISO-8859-1, to jest trywialne. Oto pętla:

unsigned char *in, *out; 
while (*in) 
    if (*in<128) *out++=*in++; 
    else *out++=0xc2+(*in>0xbf), *out++=(*in++&0x3f)+0x80; 

Dla bezpieczeństwa należy się upewnić, że bufor wyjściowy jest dwukrotnie większa od bufora wejściowego, albo zawierać limit rozmiaru i sprawdzić go w stan pętli.

Answer 2

Standard C++ 03 nie zapewnia funkcji do bezpośredniej konwersji między określonymi zestawami znaków.

W zależności od systemu operacyjnego, można użyć ikony iconv() w systemie Linux, MultiByteToWideChar() & Co. w systemie Windows. Biblioteką, która zapewnia dużą obsługę konwersji łańcuchów jest biblioteka ICU, która jest open source.

Answer 3

ISO-8859-1 na UTF-8 to nic innego jak algorytm kodowania, ponieważ ISO-8859-1 jest podzbiorem kodu Unicode. Masz już punkty kodu Unicode. Sprawdź Wikipedia pod kątem algorytmu.

Aspekty C++ - integrując to z technologią iostreams - są znacznie trudniejsze.

Proponuję, abyś chodził po tej górze zamiast próbować ją przewiercić lub wspiąć się na nią, czyli zaimplementować prosty ciąg do konwertora strun.

Cheers & HTH.,

Answer 4

Ludzie z Unicode mają kilka tabel, które mogą pomóc w przypadku Windows 1252 zamiast prawdziwego ISO-8859-1. Ostatecznym wydaje się być this one, który odwzorowuje każdy punkt kodowy w CP1252 na punkt kodowy w kodzie Unicode. Kodowanie Unicode jako UTF-8 jest prostym ćwiczeniem.

Nie będzie trudno przetworzyć bezpośrednio tabelę i utworzyć tabelę odnośników w czasie kompilacji.

Answer 5

do C++ Używam tego:

std::string iso_8859_1_to_utf8(std::string &str) 
{ 
    string strOut; 
    for (std::string::iterator it = str.begin(); it != str.end(); ++it) 
    { 
     uint8_t ch = *it; 
     if (ch < 0x80) { 
      strOut.push_back(ch); 
     } 
     else { 
      strOut.push_back(0xc0 | ch >> 6); 
      strOut.push_back(0x80 | (ch & 0x3f)); 
     } 
    } 
    return strOut; 
} 

Answer 6

Można użyć boost :: lokalizacji Biblioteka:

http://www.boost.org/doc/libs/1_49_0/libs/locale/doc/html/charset_handling.html

kod wyglądałby następująco:

#include <boost/locale.hpp> 
std::string utf8_string = to_utf<char>(latin1_string,"Latin1");