Stemming - przykłady kodu lub projekty open source?

Question

Stemming to coś, co jest potrzebne w systemach znakowania. Używam pysznych i nie mam czasu, aby zarządzać i przycinać moje tagi. Jestem trochę bardziej ostrożny z moim blogiem, ale nie jest idealny. Piszę oprogramowanie dla systemów wbudowanych, które byłoby o wiele bardziej funkcjonalne (pomocne dla użytkownika), gdyby zawierało tłumaczenie.

Na przykład:
Parse
Parser
analizowaniem

powinny oznaczać to samo co układ Kładę je.

Idealnie istnieje licencjonowany BSD gdzieś, ale jeśli nie, to gdzie mam się nauczyć wspólnych algorytmów i technik?

Oprócz rdzennych odmian BSD, jakie inne licencjonowane źdźbła o otwartym kodzie źródłowym są dostępne?

-Adam

Answer 1

Snowball stemmer (C & Java) Użyłem to wiązanie Python, PyStemmer

Answer 2

Lucene ma Stemmer w, wierzę (i IIRC to pozwala użyć własnej jeden, jeśli chcesz).

EDYCJA: Właśnie sprawdziłem, a Lucence odnosi się do strony Snowball, która jest biblioteką o otwartym kodzie źródłowym, o ile wiem.

Answer 3

Zapoznaj się z nltk toolkit napisany w Pythonie. Ma bardzo funkcjonalny stemmer.

Answer 4

Inną opcją do unieważnienia byłoby WordNet, wraz z one of its APIs. Niektóre basic information on stemming and lemmatization, w tym opis algorytmu tłumaczenia Portera, można znaleźć online w Introduction to Information Retrieval.