Jak wykryć nieprawidłowy ciąg utf-8 w PHP?

Question

funkcja

iconv czasami daje mi błąd:

Notice: 
iconv() [function.iconv]: 
Detected an incomplete multibyte character in input string in [...] 

Czy istnieje sposób, aby wykryć, że istnieją nielegalne znaków w UTF-8 ciąg przed wprowadzeniem danych do inconv?

Answer 1

Po pierwsze, należy pamiętać, że nie można wykryć, czy tekst należy do określonego niepożądanego kodowania. Możesz tylko sprawdzić, czy łańcuch jest poprawny w danym kodowaniu.

Możesz skorzystać z sprawdzania poprawności UTF-8, które jest dostępne w preg_match^{[PHP Manual]} od wersji 4.3.5. powróci 0 (bez dodatkowych informacji), jeżeli nieprawidłowy ciąg jest podana:

$isUTF8 = preg_match('//u', $string); 

Inną możliwością jest mb_check_encoding^{[PHP Manual]}:

$validUTF8 = mb_check_encoding($string, 'UTF-8'); 

Inną funkcją można użyć jest mb_detect_encoding^{[PHP Manual]}:

$validUTF8 = ! (false === mb_detect_encoding($string, 'UTF-8', true)); 

Ważne jest ustawienie parametru strict na true.

Dodatkowo, iconv^{[PHP Manual]} pozwala na zmianę/odrzucenie nieprawidłowych sekwencji w locie. (Jednakże, jeśli iconv spotkania takiej sekwencji, generuje powiadomienie; takie zachowanie nie może być zmieniony.)

echo 'TRANSLIT : ', iconv("UTF-8", "ISO-8859-1//TRANSLIT", $string), PHP_EOL; 
echo 'IGNORE : ', iconv("UTF-8", "ISO-8859-1//IGNORE", $string), PHP_EOL; 

Można użyć @ i sprawdzić długość łańcucha powrotnej:

strlen($string) === strlen(@iconv('UTF-8', 'UTF-8//IGNORE', $string)); 

Sprawdź przykłady na stronie podręcznika iconv.

Nie udostępniono kodu źródłowego, z którego pochodzi powiadomienie. Powinieneś go dodać, jeśli chcesz bardziej konkretnej sugestii.

Answer 2

Specyfikacja znaków, które są nieprawidłowe w UTF-8, jest całkiem jasna. Prawdopodobnie chcesz je rozebrać, zanim spróbujesz je przeanalizować. Nie powinno ich tam być, więc gdybyś mógł uniknąć tego nawet przed wygenerowaniem XML, który byłby jeszcze lepszy.

Zobacz tutaj odniesienie:

http://www.w3.org/TR/xml/#charsets

Nie jest to pełna lista, wiele parser również zabronić niektórych znaków niskich numerach kontrolnych, ale nie mogę znaleźć pełną listę już teraz.

Jednak może iconv mieć wbudowane wsparcie dla tego:

http://www.zeitoun.net/articles/clear-invalid-utf8/start

Answer 3

Można spróbować użyć mb_detect_encoding do wykrycia, jeśli masz inny zestaw znaków (niż UTF-8), a następnie przekonwertować do mb_convert_encoding UTF-8, jeśli jest wymagany. Bardziej prawdopodobne jest, że ludzie podają właściwą treść w innym zestawie znaków niż w przypadku podania nieprawidłowego kodu UTF-8.

Answer 4

umieścić @ przed iconv() w celu powstrzymania powiadomienia o powyższym oraz // IGNORUJ po UTF-8 w źródłowym kodowania id ignorować nieprawidłowe znaki:

@iconv('UTF-8//IGNORE', $destinationEncoding, $yourString);