Kodowanie :: UndefinedConversionError

Question

Otrzymuję zawsze Encoding::UndefinedConversionError - "\xC2" from ASCII-8BIT to UTF-8 za każdym razem, gdy próbuję przekonwertować skrót na ciąg JSON. Próbowałem z [.encode | .force_encoding](["UTF-8" | "ASCII-8BIT" ]), łańcuchowym .encode z .force_encoding, do tyłu, przełączanie parametrów, ale nic nie wydawało się do pracy, więc złapałem błędu takiego:

begin 
    menu.to_json 
rescue Encoding::UndefinedConversionError 
    puts $!.error_char.dump 
    p $!.error_char.encoding 
end 

Gdzie menu jest dataset.to_hash sequel za treści z MySQL DB, utf8_general_ci kodowanie i wrócił to:

"\ xC2"

< #Encoding: ASCII-8BIT>

Kodowanie nigdy się nie zmienia, niezależnie od używanego urządzenia. Próbowałem nawet zastąpić ciąg .gsub!(/\\\xC2/) bez powodzenia.

Wszelkie pomysły?

Answer 1

menu.to_s.encode('UTF-8', invalid: :replace, undef: :replace, replace: '?') 

To działało idealnie, musiałem wymienić jakieś dodatkowe znaki, ale nie ma więcej błędów.

Answer 2

Czego oczekujesz od "\ xC2"? Prawdopodobnie z ASCII-8BIT masz dane binarne i ruby ​​nie mogą zdecydować, co powinno być.

Najpierw należy ustawić kodowanie za pomocą force_encoding.

Możesz spróbować następujący kod:

Encoding.list.each{|enc| 
    begin 
    print "%-10s\t" % [enc] 
    print "\t\xC2".force_encoding(enc) 
    print "\t\xC2".force_encoding(enc).encode('utf-8') 
    rescue => err 
    print "\t#{err}" 
    end 
    print "\n" 
} 

Rezultatem są możliwe wartości w różnych kodowań dla Twojej „\ xC2”.

Wynik może zależeć od formatu wyjściowego, ale myślę, że możesz zgadywać, jakie kodowanie posiadasz.

Gdy zdefiniowane kodowanie trzeba (prawdopodobnie cp1251) można

menu.force_encoding('cp1252').to_json 

Zobacz również Kashyaps komentarz.

Answer 3

Jeśli nie dbają o utratę dziwnych znaków, można wysadzić je z daleka:

str.force_encoding("ASCII-8BIT").encode('UTF-8', undef: :replace, replace: '') 

Answer 4

Twoje automatycznie akceptowane rozwiązanie nie działa, nie występują skutecznie żadne błędy, ale jest to NOT JSON.

Rozwiązałem problem za pomocą klejnotu oj, teraz działa. Jest także szybszy niż standardowa biblioteka JSON.

pisanie:

menu_json = Oj.dump menu 

Reading:

menu2 = Oj.load menu_json 

https://github.com/ohler55/oj więcej szczegółów.Mam nadzieję, że to pomoże.