Usunąć znaki inne niż UTF z ciągu w Ruby?

Question

Jak usunąć znaki inne niż UTF8 z ciągu ruby? Mam ciąg znaków, który ma na przykład "xC2". Chcę usunąć ten znak z łańcucha, aby stał się poprawnym UTF8.

to:

text.gsub!(/\xC2/, '') 

zwraca błąd:

incompatible encoding regexp match (ASCII-8BIT regexp with UTF-8 string) 

szukałem w text.unpack ('U *') i string.pack jak dobrze, ale nie dostać się gdziekolwiek.

Answer 1

Można użyć /n, jak w

text.gsub!(/\xC2/n, '') 

zmusić REGEXP działać na bajtach.

Czy jesteś pewien, że tego właśnie chcesz? Dowolny znak Unicode w zakresie [U + 80, U + BF] będzie miał \xC2 w postaci zakodowanej w UTF-8.

Answer 2

Można to zrobić następująco

# encoding: utf-8 

class String 
    def validate_encoding 
    chars.select(&:valid_encoding?).join 
    end 
end 

puts "testing\xC2 a non UTF-8 string".validate_encoding 
#=>testing a non UTF-8 string 

Answer 3

Spróbuj iconv

1.9.3p194 :001 > require 'iconv' 
# => true 
1.9.3p194 :002 > string = "testing\xC2 a non UTF-8 string" 
# => "testing\xC2 a non UTF-8 string" 
1.9.3p194 :003 > ic = Iconv.new('UTF-8//IGNORE', 'UTF-8') 
# => #<Iconv:0x000000026c9290> 
1.9.3p194 :004 > ic.iconv string 
# => "testing a non UTF-8 string" 

Answer 4

można wykorzystywać kodowanie za to. text.encode('UTF-8', :invalid => :replace, :undef => :replace)

Aby uzyskać więcej informacji spojrzeć Ruby-Docs

Answer 5

data = '' if not (data.force_encoding("UTF-8").valid_encoding?) 

Answer 6

najlepszym rozwiązaniem tego problemu, że zostały stwierdzone jest to odpowiedź na to samo pytanie: https://stackoverflow.com/a/8711118/363293.

W skrócie: "€foo\xA0".chars.select(&:valid_encoding?).join

Answer 7

można mieć kodowanie tekstu ASCII-8bit, zamiast tego należy użyć:

String.delete!("^\u{0000}-\u{007F}"); 

To będzie zerwać ten sam cel.