Jak pozbyć się interpunkcji za pomocą tokenizera NLTK?

Question

Właśnie zaczynam używać NLTK i nie bardzo rozumiem, jak uzyskać listę słów z tekstu. Jeśli używam nltk.word_tokenize(), otrzymuję listę słów i znaków interpunkcyjnych. Potrzebuję tylko słów. Jak mogę pozbyć się interpunkcji? Również word_tokenize nie działa z wieloma zdaniami: kropki są dodawane do ostatniego słowa.

Answer 1

Jak zauważono w komentarzach, zacznij od sent_tokenize(), ponieważ word_tokenize() działa tylko w jednym zdaniu. Możesz odfiltrować interpunkcję za pomocą filtra(). A jeśli masz ciągi znaków Unicode, upewnij się, że jest to obiekt Unicode (a nie "Str" zakodowany za pomocą kodowania typu "utf-8").

from nltk.tokenize import word_tokenize, sent_tokenize 

text = '''It is a blue, small, and extraordinary ball. Like no other''' 
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)] 
print filter(lambda word: word not in ',-', tokens) 

Answer 2

Zobacz inne opcje tokenizacji, które nltk zapewnia here. Na przykład, można zdefiniować tokenizera że wybiera sekwencje znaków alfanumerycznych jako tokenów i krople wszystkiego innego:

from nltk.tokenize import RegexpTokenizer 

tokenizer = RegexpTokenizer(r'\w+') 
tokenizer.tokenize('Eighty-seven miles to go, yet. Onward!') 

wyjściowa:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward'] 

Answer 3

Właśnie używany następujący kod, który usuwa wszystkie znaki interpunkcyjne :

tokens = nltk.wordpunct_tokenize(raw) 

type(tokens) 

text = nltk.Text(tokens) 

type(text) 

words = [w.lower() for w in text if w.isalpha()] 

Answer 4

używam tego kodu, aby usunąć znaki interpunkcyjne:

import nltk 
def getTerms(sentences): 
    tokens = nltk.word_tokenize(sentences) 
    words = [w.lower() for w in tokens if w.isalnum()] 
    print tokens 
    print words 

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ") 

A jeśli chcesz sprawdzić, czy token jest ważny angielskie słowo lub nie, być może trzeba PyEnchant

Tutorial:

import enchant 
d = enchant.Dict("en_US") 
d.check("Hello") 
d.check("Helo") 
d.suggest("Helo") 

Answer 5

Tak naprawdę nie potrzeba NLTK usunąć znaki interpunkcyjne. Możesz go usunąć za pomocą prostego pythona. Ciągów:

import string 
s = '... some string with punctuation ...' 
s = s.translate(None, string.punctuation) 

Albo dla Unicode:

import string 
translate_table = dict((ord(char), None) for char in string.punctuation) 
s.translate(translate_table) 

a następnie wykorzystać ten ciąg w swoim tokenizera.

P.S. Moduł string ma kilka innych zestawów elementów, które można usunąć (np. Cyfry).

Answer 6

myślę, że trzeba jakiś dopasowywania wyrażeń regularnych (poniższy kod w Pythonie 3):

import string 
import re 
import nltk 

s = "I can't do this now, because I'm so tired. Please give me some time." 
l = nltk.word_tokenize(s) 
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)] 
print(l) 
print(ll) 

wyjściowa:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.'] 
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time'] 

powinien działać dobrze w większości przypadków, ponieważ usuwa interpunkcję jednocześnie zachowując tokeny typu "nie", których nie można uzyskać z tokenizatorów regex, takich jak wordpunct_tokenize.

Answer 7

Poniższy kod usunie wszystkie znaki interpunkcyjne oraz znaki nieliteryczne. Skopiowane z ich książki.

http://www.nltk.org/book/ch01.html

import nltk 

s = "I can't do this now, because I'm so tired. Please give me some time. @ sd 4 232" 

words = nltk.word_tokenize(s) 

words=[word.lower() for word in words if word.isalpha()] 

print(words) 

wyjście

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']