Co dokładnie robi standardowy filtr tokenów w Elasticsearch?

Question

There are no examples in the documentation, a ja właśnie zastanawiałem się, czego się spodziewać po wprowadzeniu danych.

Answer 1

Przed Elasticsearch 0.16 (Lucene 3.1) standardowym filtrem tokenów było "normalizacja tokenów wyodrębnionych przez standardowego tokenizera". Mówiąc konkretnie, usuwano 's na końcu słów i kropek w akronimach. Tak więc wtedy Apple'sC.E.O stanie się AppleCEO po przejściu przez standardowy filtr. Zaczynając od Elasticsearch 0.16 (Lucene 3.1) standardowy filtr tokenowy to nothing (przynajmniej w tej chwili). Po prostu przekazuje tokeny do następnego filtra w łańcuchu.

Answer 2

Oto fragment kodu źródłowego StandardFiltra z bagażnika Lucene. To naprawdę nie robi nic.

public final boolean incrementToken() throws IOException { 
    return input.incrementToken(); // TODO: add some niceties for the new grammar 
}