Czy istnieje sposób sprawdzenia, czy ciąg znaków Unicode zawiera jakąkolwiek chińską/japońską czcionkę w języku Python?

Question

Mam ciąg znaków Unicode w języku Python. Szukam sposobu na określenie, czy w ciągu znaków znajduje się znak chiński/japoński. Jeśli to możliwe, lepiej będzie móc zlokalizować te postacie.

Wygląda na to, że różni się nieco od problemu z wykrywaniem języka. Mój ciąg może być mieszanką angielskich i chińskich tekstów.

Mój kod ma dostęp do Internetu.

Answer 1

Możesz użyć tego wyrażenia [\u2E80-\u9FFF], aby dopasować znaki CJK.

Answer 2

Możesz użyć właściwości skryptu Unicode, aby określić, z którym skryptem są zwykle powiązani.

Moduł Pythona unicodedata, niestety, nie ma tej właściwości. Jednak wiele modułów innych firm, takich jak unicodedata2 i unicodescript, ma tę informację. Możesz zapytać je i sprawdzić, czy masz jakieś znaki w skrypcie Han, który odpowiada chińskim (i Kanji i Hanja).

Answer 3

Próbowałem modułu Pythona unicodedata wspomnianego przez nneonneo w jego odpowiedzi i myślę, że prawdopodobnie działa.

>>> import unicodedata 
>>> unicodedata.name('你') 
'CJK UNIFIED IDEOGRAPH-4F60' 
>>> unicodedata.name('桜') 
'CJK UNIFIED IDEOGRAPH-685C' 
>>> unicodedata.name('あ') 
'HIRAGANA LETTER A' 
>>> unicodedata.name('ア') 
'KATAKANA LETTER A' 
>>> unicodedata.name('a') 
'LATIN SMALL LETTER A' 

Jak widać, oba znaki chińskie i japońskie przyjął chińskie znaki są podzielone na CJK UNIFIED IDEOGRAPH i hiragana i katakana prawidłowo rozpoznana. Nie testowałem koreańskich postaci, ale myślę, że powinny one również należeć do CJK UNIFIED IDEOGRAPH.

Ponadto, jeśli tylko zależy, czy jest to CJK znaków/liter lub nie, wydaje się to prostsze:

>>> import unicodedata 
>>> unicodedata.category('你') 
'Lo' 
>>> unicodedata.category('桜') 
'Lo' 
>>> unicodedata.category('あ') 
'Lo' 
>>> unicodedata.category('ア') 
'Lo' 
>>> unicodedata.category('a') 
'Ll' 
>>> unicodedata.category('A') 
'Lu' 

Według here, Ll jest małe, Lu jest wielka i Lo jest inne.