Odczytaj znak utf-8 ze strumienia bajtów

Question

Biorąc pod uwagę strumień bajtów (generator, plik itp.), W jaki sposób mogę odczytać pojedynczy kodowany znak utf-8?

• Ta operacja musi zużyć bajty tego znaku ze strumienia.
• Ta operacja nie może zużywać żadnych bajtów strumienia, które przekraczają pierwszy znak.
• Ta operacja powinna zakończyć się powodzeniem na dowolnym znaku Unicode.

mogłem podejść do tego przez walcowanie własną funkcję utf-8 dekodowania ale wolałbym, aby nie wyważać otwartych drzwi, ponieważ jestem pewien, że ta funkcja musi być już stosowane gdzie indziej do analizowania utf-8 sznurki.

Answer 1

Zawiń strumień w TextIOWrapper za pomocą encoding='utf8', a następnie zadzwoń pod numer .read(1).

Zakłada się, że zacząłeś od BufferedIOBase lub czegoś podobnego do kaczych (to znaczy, że ma on metodę read()). Jeśli masz generator lub iterator, być może będziesz musiał dostosować interfejs.

przykład:

from io import TextIOWrapper 

with open('/path/to/file', 'rb') as f: 
    wf = TextIOWrapper(f, 'utf-8') 
    wf._CHUNK_SIZE = 1 # Implementation detail, may not work everywhere 

    wf.read(1) # gives next utf-8 encoded character 
    f.read(1) # gives next byte