Czy można przyspieszyć program WordMat Lemmatizer?

Question

Używam Lemmatizer Wordnet przez NLTK na Brown Corpus (w celu ustalenia, czy rzeczowniki w nim są używane bardziej w ich liczbie pojedynczej lub ich liczbie mnogiej).
tj from nltk.stem.wordnet import WordNetLemmatizer
l = WordnetLemmatizer()

Zauważyłem, że nawet najprostsze pytania, takie jak ten poniżej trwa dość długo (co najmniej sekundę lub dwie).
l("cats")

Przypuszczalnie jest to spowodowane połączeniem internetowa musi być wykonane do wordnet dla każdego zapytania? ..
Zastanawiam się, czy istnieje sposób, aby nadal korzystać z dr inż Lemmatizer ale to wykonać znacznie szybciej? Na przykład, czy w ogóle pomogłoby mi pobrać Wordnet na mój komputer? Lub jakieś inne sugestie?

Próbuję dowiedzieć się, czy Wordmat Lemmatizer można zrobić szybciej, niż próbować inny lemmatizer, ponieważ odkryłem, że działa najlepiej wśród innych, takich jak Porter i Lancaster.

Answer 1

Użyłem lemmatizer jak ten

from nltk.stem.wordnet import WordNetLemmatizer #To download corpora: python -m nltk.downloader all 
    lmtzr=WordNetLemmatizer()#create a lemmatizer object 
    lemma = lmtzr.lemmatize('cats') 

To nie jest powolny w ogóle na moim komputerze. Aby to zrobić, nie ma potrzeby łączenia się z internetem.

Answer 2

Nie wysyła zapytań do Internetu, NLTK czyta WordNet z lokalnego komputera. Po uruchomieniu pierwszego zapytania, NLTK ładunki WordNet z dysku do pamięci:

>>> from time import time 
>>> t=time(); lemmatize('dogs'); print time()-t, 'seconds' 
u'dog' 
3.38199806213 seconds 
>>> t=time(); lemmatize('cats'); print time()-t, 'seconds' 
u'cat' 
0.000236034393311 seconds 

Jest dość powolny, jeśli masz do lemmatize wiele tysięcy fraz. Jednak jeśli wykonujesz wiele zbędnych zapytań, możesz uzyskać przyspieszenie przez buforowanie wyników funkcji:

from nltk.stem import WordNetLemmatizer 
from functools32 import lru_cache 
wnl = WordNetLemmatizer() 
lemmatize = lru_cache(maxsize=50000)(wnl.lemmatize) 

lemmatize('dogs')