Co to jest zalecany analizator/filtr dla ludzkich nazw w Elastic search

Question

Zastanawiam się, czy istnieją zalecenia dotyczące używania analizatorów/filtrów do indeksowania/wyszukiwania ludzkich imion.

Przykłady nazw, które mogą stwarzać trudności:

• Marc kontra Mark
• Peter de Langhe kontra Peter Delange
• Verhaeven kontra Verhaven
• François porównaniu Francois

thx Marc

Answer 1

Oto analizator i filtr, aby zacząć. Trudno jest objąć wszystkie przypadki, ale filtr asciifolding rozwiąże problemy z kartą Francois kontra Francois .

W poniższym przykładzie zachowa oryginał, aby zapytanie dla François i Francois rozwiązało ten sam zestaw wyników.

 "analyzer": { 
      "name_analyzer": { 
       "type": "custom", 
       "tokenizer": "standard", 
       "filter": [ 
        "lowercase", 
        "trim", 
        "my_ascii_folding" 
       ] 
      } 
     }, 
     "filter": { 
      "my_ascii_folding" : { 
       "type" : "asciifolding", 
       "preserve_original" : true 
      } 
     } 

Source

Definiując filtr synonimów, można zdefiniować listę powszechnie podobnych nazwach w języku polskim (może linia jak François => Francois w swoich synonimów plików na przykład), że załatwi w krótki bieg.

Wreszcie filtr pattern_replace char z "([A-Za-z]+)ae([A-Za-z]+)" => "$1a$2" wzór można obrócić cały Verhaeven do Verhaven

Coś jak ...

 "char_filter": { 
      "ae_char_filter": { 
       "type": "pattern_replace", 
       "pattern": "([A-Za-z]+)ae([A-Za-z]+)", 
       "replacement": "$1a$2" 
      } 
     } 

Nawet Peter de Langhe kontra Peter Delange może być rozwiązany z pattern_replace filtr char:

 "char_filter": { 
      "de_char_filter": { 
       "type": "pattern_replace", 
       "pattern": "([A-Za-z]+) de ([A-Za-z]+)", 
       "replacement": "$1 de$2" 
      } 
     }