Niepoprawna wartość ciągu: '\ xEF \ xBF \ xBD' dla kolumny

Question

Posiadam tabelę potrzebną do obsługi różnych znaków. Znaki obejmują Ø, ® itd.

Ustawiłem moją tabelę na UTF-8 jako domyślne sortowanie, wszystkie kolumny używają domyślnej tabeli, jednak gdy próbuję wstawić te znaki, pojawia się błąd: Niepoprawna wartość ciągu znaków: '\ XEF \ xBF \ XBD”w kolumnie«BUYERNAME»w wierszu 1

Moje ciąg połączenia jest definiowana jako

string mySqlConn = "server="+server+";user="+username+";database="+database+";port="+port+";password="+password+";charset=utf8;"; 

Jestem w rozterce, dlaczego ja wciąż widząc błędy. Czy przeoczyłem coś ze złączem .net lub z moją konfiguracją MySQL?

--Edit--

My (nowa) oświadczenie C# wkładka wygląda następująco:

MySqlCommand insert = new MySqlCommand("INSERT INTO fulfilled_Shipments_Data " + 
    "(amazonOrderId,merchantOrderId,shipmentId,shipmentItemId,"+ 
    "amazonOrderItemId,merchantOrderItemId,purchaseDate,"+ ... 

     VALUES (@amazonOrderId,@merchantOrderId,@shipmentId,@shipmentItemId,"+ 
     "@amazonOrderItemId,@merchantOrderItemId,@purchaseDate,"+ 
     "paymentsDate,shipmentDate,reportingDate,buyerEmail,buyerName,"+ ... 


     insert.Parameters.AddWithValue("@amazonorderId",lines[0]); 
     insert.Parameters.AddWithValue("@merchantOrderId",lines[1]); 
     insert.Parameters.AddWithValue("@shipmentId",lines[2]); 
     insert.Parameters.AddWithValue("@shipmentItemId",lines[3]); 
     insert.Parameters.AddWithValue("@amazonOrderItemId",lines[4]); 
     insert.Parameters.AddWithValue("@merchantOrderItemId",lines[5]); 
     insert.Parameters.AddWithValue("@purchaseDate",lines[6]); 
     insert.Parameters.AddWithValue("@paymentsDate",lines[7]); 

insert.ExecuteNonQuery(); 

Zakładając, że jest to właściwy sposób na wykorzystanie sparametryzowanych sprawozdań, to wciąż daje błąd

"Incorrect string value: '\xEF\xBF\xBD' for column 'buyerName' at row 1" 

Jakieś inne pomysły?

Answer 1

\xEF\xBF\xBD jest kodowanie UTF-8 dla Unicode U+FFFD. Jest to postać specjalna, znana również jako "postać zastępcza". Cytat z the wikipedia page about the special unicode characters:

The replacement character � (often a black diamond with a white question mark) is a symbol found in the Unicode standard at codepoint U+FFFD in the Specials table. It is used to indicate problems when a system is not able to decode a stream of data to a correct symbol. It is most commonly seen when a font does not contain a character, but is also seen when the data is invalid and does not match any character:

Wygląda więc na to źródło danych zawiera uszkodzone dane. Możliwe jest również, że próbujesz odczytać dane za pomocą niewłaściwego kodowania. Skąd pochodzą linie?

Jeśli nie można ustalić dane, a Twój wkład rzeczywiście zawiera nieprawidłowe znaki, można po prostu usunąć znaki zamienne:

lines[n] = lines[n].Replace("\xFFFD", ""); 

Answer 2

NIGDY, NIGDY, KIEDYKOLWIEK nie twórz instrukcji SQL w ten sposób. To jest szeroko otwarte na iniekcję SQL.

Dodaję to jako odpowiedź, ponieważ jest to tak podstawowy błąd, że prawdopodobnie będziesz musiał przepisać znaczną część swojego programu.

To nie jest sposób dostarczania parametrów do instrukcji SQL i nie warto nikomu odpowiadać na twoje pytanie, ponieważ powinieneś używać sparametryzowanych zapytań, które prawdopodobnie również rozwiążą Twój problem.

Answer 3

Mattmanser ma rację, nigdy nie pisz kwerendy sql przez konkatenację parametrów bezpośrednio w kwerendzie. Przykład zapytania parametryzowaną jest:

string lastname = "Doe"; 
double height = 6.1; 
DateTime date = new DateTime(1978,4,18); 

var connection = new MySqlConnection(connStr); 

try 
{ 
    connection.Open(); 

    var command = new MySqlCommand(
     "SELECT * FROM tblPerson WHERE LastName = @Name AND Height > @Height AND BirthDate < @BirthDate", connection); 

    command.Parameters.AddWithValue("@Name", lastname); 
    command.Parameters.AddWithValue("@Height", height); 
    command.Parameters.AddWithValue("@Name", birthDate); 

    MySqlDataReader reader = command.ExecuteReader(); 
    ... 
} 
finally 
{ 
    connection.Close(); 
} 

Answer 4

Dla tych, którzy mają podobny problem z wykorzystaniem PHP, wypróbuj funkcję utf8_encode($string) . Po prostu działa!