Bigramy tokena indeksującego w Lucene

Question

Potrzebuję indeksować dwanaście gramów słów (tokenów) w Lucene. Mogę produkować n-gramy, a następnie ich indeksować, ale zastanawiam się, czy jest coś w Lucene, które zrobi to za mnie. Dowiedziałem się, że Lucene indeksuje tylko n-gramów znaków. Jakieś pomysły?

Answer 1

W zależności od tego, dlaczego trzeba indeksować dwa razy, pomocne mogą być: SpanQuery i/lub SnowballAnalyzer.

Answer 2

Użyj NGramTokenizer:

http://lucene.apache.org/java/2_3_2/api/contrib-analyzers/org/apache/lucene/analysis/ngram/NGramTokenizer.html

Answer 3

Klasa szukasz jest ShingleFilter: http://lucene.apache.org/java/2_4_0/api/org/apache/lucene/analysis/shingle/ShingleFilter.html