Wyszukiwanie Solr Uszkodzenie niektórych znaków

Question

Mam kolekcję Solr, która nie zwraca wyników dla kilku znaków spoza zestawu ASCII. Przykładem, którego używamy, jest ciąg znaków S11. • “≡ «Ñaïvétý» ‘¢¥£’ ¶!#%; szukanie całego ciągu nie zwraca żadnych wyników, mimo że mam obiekt z tym w indeksowanym polu. Jednakże wyszukiwanie podciągów tego łańcucha zwraca wyniki. Jedyne znaki, które powodują, że Solr nie zwraca żadnych dopasowań, to trzy w środku: • “≡. Pole zostało zindeksowane jako text_en, ale wypróbowałem też edge_ngram (mając nadzieję na odrobinę magii Cargo Cult, aby rozwiązać problem). Czy jest coś wyjątkowego w tych trzech postaciach, czy też muszę zmodyfikować sposób, w jaki Solr indeksuje pola?

Szukamy poprzez django-haystack, ale problem pojawia się także w panelu administratora Solr.

Oto definicje typów dwa pola:

<fieldType name="edge_ngram" class="solr.TextField" positionIncrementGap="1"> 
    <analyzer type="index"> 
     <tokenizer class="solr.WhitespaceTokenizerFactory" /> 
     <filter class="solr.LowerCaseFilterFactory" /> 
     <filter class="solr.WordDelimiterFilterFactory"   
      generateWordParts="1" generateNumberParts="1" catenateWords="0" 
      catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/> 
     <filter class="solr.EdgeNGramFilterFactory" 
      minGramSize="2" maxGramSize="50" side="front" /> 
    </analyzer> 
    <analyzer type="query"> 
     <tokenizer class="solr.WhitespaceTokenizerFactory" /> 
     <filter class="solr.LowerCaseFilterFactory" /> 
     <filter class="solr.WordDelimiterFilterFactory" 
      generateWordParts="1" generateNumberParts="1" catenateWords="0" 
      catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/> 
    </analyzer> 
</fieldType> 

<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100"> 
    <analyzer type="index"> 
     <tokenizer class="solr.StandardTokenizerFactory"/> 
     <filter class="solr.StopFilterFactory" 
       ignoreCase="true" 
       words="lang/stopwords_en.txt" 
       enablePositionIncrements="true" 
       /> 
     <filter class="solr.LowerCaseFilterFactory"/> 
     <filter class="solr.EnglishPossessiveFilterFactory"/> 
     <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/> 
     <filter class="solr.PorterStemFilterFactory"/> 
    </analyzer> 
    <analyzer type="query"> 
     <tokenizer class="solr.StandardTokenizerFactory"/> 
     <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" 
      ignoreCase="true" expand="true"/> 
     <filter class="solr.StopFilterFactory" 
       ignoreCase="true" 
       words="lang/stopwords_en.txt" 
       enablePositionIncrements="true" 
       /> 
     <filter class="solr.LowerCaseFilterFactory"/> 
     <filter class="solr.EnglishPossessiveFilterFactory"/> 
     <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/> 
     <filter class="solr.PorterStemFilterFactory"/> 
    </analyzer> 
</fieldType> 

Answer 1

można spróbować to ...

<fieldType name="text_reference" class="solr.TextField" sortMissingLast="true" omitNorms="true" positionIncrementGap="100"> 
     <analyzer type="index"> 
     <tokenizer class="solr.KeywordTokenizerFactory"/> 
      <filter class="solr.LowerCaseFilterFactory"/> 
      <filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="50" side="front"/> 
      <filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="50" side="back"/> 
     </analyzer> 
     <analyzer type="query"> 
      <tokenizer class="solr.KeywordTokenizerFactory"/> 
      <filter class="solr.LowerCaseFilterFactory"/> 
     </analyzer> 
    </fieldType> 

Answer 2

Czy próbowali za pomocą ASCIIFoldingFilterFactory

Konwertuje alfabet c, numeryczne i symboliczne znaki Unicode, które nie znajdują się w pierwszych 127 znakach ASCII (blok "Basic Latin" Unicode ) w ich odpowiednikach ASCII, jeśli taki istnieje.

<filter class="solr.ASCIIFoldingFilterFactory" preserveOriginal="false"/> 

Answer 3

Próbowałem zarówno fieldTypes Wysłany i sprawdził je na stronie analizy wynika, że ​​statki o stronie administratora Solr. Oba wydają się być w porządku - spójrz poniżej. Jasne odcienie szarości wskazują, że jest wytwarzany odpowiednik.

To mnie trochę zdziwi. Istnieje kilka powodów, a chociaż dlaczego nie dostać obrażeń:

• zmieniłeś schema.xml bez odbudowy indeksu, to będzie działać, ale nie generują uderza
• używasz dismax/edismax queryhandler z parametrem MM zdefiniowanym z niekorzystną wartością.
  • Można sprawdzić to w swoim solrconfig.xml
  • Jednak jest to tylko wartość domyślna, parametr może być zmieniany podczas wysyłania żądania ze swojego kodu.
• masz ciekawe wartości w trzech plikach, które są zaangażowane podczas indeksowania, a mianowicie
  • lang/stopwords_en.txt
  • protwords.txt
  • synonimy.txt

wyników dla text_en

Wyniki dla edge_ngram