sqlite3.ProgrammingError: Nie wolno używać 8-bitowych bytestrings, chyba że używasz text_factory, który może interpretować 8-bitowe bytestrings

Question

Używając SQLite3 w Pythonie, próbuję przechowywać skompresowaną wersję fragmentu kodu HTML UTF-8.

Kod wygląda następująco:

... 
c = connection.cursor() 
c.execute('create table blah (cid integer primary key,html blob)') 
... 
c.execute('insert or ignore into blah values (?, ?)',(cid, zlib.compress(html))) 

W tym momencie co pojawia się błąd:

sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings. 

Jeśli użyję 'text' zamiast 'blob' i nie ściskać fragment kodu HTML , działa dobrze (db jest do dużych). Kiedy używam "blob" i kompresuję przez bibliotekę zlib Pythona, pojawia się powyższy komunikat o błędzie. Rozejrzałem się, ale nie mogłem znaleźć prostej odpowiedzi.

Answer 1

Znaleziono rozwiązanie, powinienem poświęcić trochę więcej czasu na wyszukiwanie.

Rozwiązanie jest „Cast” wartości jako „bufor” pyton, tak:

c.execute('insert or ignore into blah values (?, ?)',(cid, buffer(zlib.compress(html)))) 

Mamy nadzieję, że pomoże to ktoś inny.

Answer 2

Jeśli chcesz użyć 8-bitowe ciągi zamiast ciąg Unicode w sqlite3, ustawianie approptiate text_factory SQLite połączenia:

connection = sqlite3.connect(...) 
connection.text_factory = str 

Answer 3

Mogłeś zapisać wartość za pomocą repr (HTML) zamiast wyjścia surowego i następnie użyj eval (html) podczas pobierania wartości do użycia.

c.execute('insert or ignore into blah values (?, ?)',(1, repr(zlib.compress(html)))) 

Answer 4

Aby pracować z typu BLOB, należy najpierw przekonwertować ciąg zlib skompresowane do danych binarnych - inaczej sqlite postara się przetworzyć go jako ciąg tekstowy. Odbywa się to za pomocą sqlite3.Binary(). Na przykład:

c.execute('insert or ignore into blah values (?, ?)',(cid, 
sqlite3.Binary(zlib.compress(html))))