Tokenizacja wpisów na Twitterze w Lucene

Question

Moje pytanie w pigułce: czy ktoś wie o TwitterzeAnalyzer lub TwitterTokenizer dla Lucene?

Bardziej szczegółowa wersja:

Chcę indeksu szereg tweets w Lucene i zachować warunki jak @user lub #hashtag nienaruszonym. StandardTokenizer nie działa, ponieważ odrzuca interpunkcję (ale robi inne przydatne rzeczy, takie jak przechowywanie nazw domen, adresów e-mail lub rozpoznawanie akronimów). Jak mogę mieć analizator, który robi wszystko, co StandardTokenizer, ale nie dotyka terminów takich jak @user i #hashtag?

Moje obecne rozwiązanie polega na wstępnym przetworzeniu tekstu tweeta przed wprowadzeniem go do analizatora i zastąpieniu znaków innymi ciągami alfanumerycznymi. Na przykład:

Niestety ta metoda łamie uzasadnione adresy e-mail, ale mogę z tym żyć. Czy to podejście ma sens?

Z góry dziękuję!

AMAC

Answer 1

StandardTokenizer i StandardAnalyzer zasadzie przekazać swoje żetony przez StandardFilter (który usuwa wszystkie rodzaje znaków od standardowych żetonów podobnych do „s na końcach wyrazów), a następnie przez filtr Stolica (do małymi literami swoje słowa) i wreszcie przez StopFilter. Ten ostatni usuwa nieznaczne słowa, takie jak "as", "in", "for", itp.

To, co można łatwo zrobić, aby rozpocząć, to zaimplementować własny analizator, który działa tak samo, jak narzędzie StandardAnalyzer, ale używa WhitespaceTokenizer jako pierwszy element, który przetwarza strumień wejściowy.

Więcej szczegółów jedno wewnętrzne funkcjonowanie analizatorów można spojrzeć nad here

Answer 2

Istnieje Twitter specyficzne tokenizer tutaj: https://github.com/brendano/ark-tweet-nlp/blob/master/src/cmu/arktweetnlp/Twokenize.java

Answer 3

Tutorial na Twitterze konkretnego tokenizera który jest zmodyfikowaną wersją ark-wierkanie-NLP API można znaleźć w http://preciselyconcise.com/apis_and_installations/tweet_pos_tagger.php Interfejs ten jest w stanie zidentyfikować emotikony hashtags, wykrzykniki itp obecne w tweetem

Answer 4

Twitter API można powiedzieć, aby przywrócić wszystkie tweetów BIOS itp z "entity" (hashtags, userIds, urls itp.) są już spakowane z treści do kolekcji.

https://dev.twitter.com/docs/entities

Więc nie są po prostu szukasz sposobu, aby ponownie zrobić coś, co ludzie na Twitterze już dla ciebie zrobić?

Answer 5

Twitter open source tam lib proces tekst, wdraża tokena obsługi dla hashtag itp

takich jak: HashtagExtractor https://github.com/twitter/commons/blob/master/src/java/com/twitter/common/text/extractor/HashtagExtractor.java

Jest to baza na Lucene za TokenStream.