Fuzzy String Wyszukiwanie z Whoosh w Pythonie

Question

Zbudowałem dużą bazę banków w MongoDB. Mogę z łatwością wziąć te informacje i utworzyć indeksy z nim w whoosh. Na przykład chciałbym móc dopasować nazwy banków "Eagle Bank & Trust Co of Missouri" oraz "Eagle Bank and Trust Company of Missouri". Poniższy kod działa w prosty rozmyty takich, ale nie mogą osiągnąć spotkanie na powyższe:

from whoosh.index import create_in 
from whoosh.fields import * 

schema = Schema(name=TEXT(stored=True)) 
ix = create_in("indexdir", schema) 
writer = ix.writer() 

test_items = [u"Eagle Bank and Trust Company of Missouri"] 

writer.add_document(name=item) 
writer.commit() 

from whoosh.qparser import QueryParser 
from whoosh.query import FuzzyTerm 

with ix.searcher() as s: 
    qp = QueryParser("name", schema=ix.schema, termclass=FuzzyTerm) 
    q = qp.parse(u"Eagle Bank & Trust Co of Missouri") 
    results = s.search(q) 
    print results 

daje mi:

<Top 0 Results for And([FuzzyTerm('name', u'eagle', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'bank', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'trust', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'co', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'missouri', boost=1.000000, minsimilarity=0.500000, prefixlength=1)]) runtime=0.00166392326355> 

to możliwe, aby osiągnąć to, co chcę z Whoosh? Jeśli nie, jakie inne rozwiązania oparte na Pythonie mam?

Answer 1

Mogłabyś mecz Co z Company użyciem Fuzzy Szukaj w Whoosh ale Nie należy zrobić, ponieważ różnica między Co i Company jest duża. Co jest podobny do Company jako Be jest podobny do Beast i ny do Company, Możesz sobie wyobrazić, jak złe i jak duże będą wyniki wyszukiwania.

Jednakże, jeśli chcesz dopasować Compan lub compani lub Companee do Company można to zrobić za pomocą spersonalizowanego Klasa FuzzyTerm z domyślnie maxdist równe 2 lub więcej:

maxdist - maksymalna edytuj odległość od podanego tekstu.

class MyFuzzyTerm(FuzzyTerm): 
    def __init__(self, fieldname, text, boost=1.0, maxdist=2, prefixlength=1, constantscore=True): 
     super(MyFuzzyTerm, self).__init__(fieldname, text, boost, maxdist, prefixlength, constantscore) 

Następnie:

qp = QueryParser("name", schema=ix.schema, termclass=MyFuzzyTerm) 

Można dopasować Co z Company ustawiając maxdist do 5 ale jak powiedziałem dać złe wyniki wyszukiwania. Proponuję zachować maxdist od 1 do 3.

Jeśli szukasz pasujących do siebie odmian językowych, lepiej użyj whoosh.query.Variations.

Uwaga: starsze wersje Whoosh mają minsimilarity zamiast maxdist.

Answer 2

Być może niektóre z tych rzeczy może pomóc (dopasowanie ciąg open source przez seatgeek facetów):

https://github.com/seatgeek/fuzzywuzzy

Answer 3

Na przyszłość, i nie musi być lepszy sposób to zrobić jakoś, ale tutaj jest mój strzał.

# -*- coding: utf-8 -*- 
import whoosh 
from whoosh.index import create_in 
from whoosh.fields import * 
from whoosh.query import * 
from whoosh.qparser import QueryParser 

schema = Schema(name=TEXT(stored=True)) 
idx = create_in("C:\\idx_name\\", schema, "idx_name") 

writer = idx.writer() 

writer.add_document(name=u"This is craaazy shit") 
writer.add_document(name=u"This is craaazy beer") 
writer.add_document(name=u"Raphaël rocks") 
writer.add_document(name=u"Rockies are mountains") 

writer.commit() 

s = idx.searcher() 
print "Fields: ", list(s.lexicon("name")) 
qp = QueryParser("name", schema=schema, termclass=FuzzyTerm) 

for i in range(1,40): 
    res = s.search(FuzzyTerm("name", "just rocks", maxdist=i, prefixlength=0)) 
    if len(res) > 0: 
     for r in res: 
      print "Potential match (%s): [ %s ]" % (i, r["name"]) 
     break 
    else: 
     print "Pass: %s" % i 

s.close() 

Answer 4

Można użyć tej funkcji poniżej fuzz wyszukiwać zestaw słów na wyrażenie:

def FuzzySearch(text, phrase): 
    """Check if word in phrase is contained in text""" 
    phrases = phrase.split(" ") 

    for x in range(len(phrases)): 
     if phrases[x] in text: 
      print("Match! Found " + phrases[x] + " in text") 
     else: 
      continue