Jakie są dobre metody na znalezienie "pokrewieństwa" dwóch ciał tekstu?

Question

Oto problem - mam kilka tysięcy małych fragmentów tekstu, od kilku słów do kilku zdań - największy fragment to około 2k na dysku. Chcę móc porównać każde z nich i obliczyć współczynnik pokrewności, aby móc wyświetlać informacje związane z użytkownikami.

Jakie są dobre sposoby na zrobienie tego? Czy znane są algorytmy tego działania, czy są jakieś rozwiązania GPL?

Nie potrzebuję tego do uruchomienia w czasie rzeczywistym, ponieważ mogę wstępnie obliczyć wszystko. Bardziej zależy mi na osiągnięciu dobrych wyników niż w środowisku uruchomieniowym.

Po prostu pomyślałem, że zapytam społeczność Stack Overflow, zanim pójdę i piszę własną rzecz. MUSZĄ istnieć ludzie, którzy wcześniej znaleźli dobre rozwiązania.

Answer 1

Te artykułów na semantic relatedness i semantic similarity może być pomocne. I to pytanie SO o Latent Semantic Analysis.

Można również sprawdzić, czy słowa "brzmią podobnie" fonetycznie.

Answer 2

nigdy nie używałem go, ale warto zajrzeć do Levenshtein distance

Answer 3

Jeff mówił o czymś takim na kapsule oddanych znaleźć inne pytania wymienione po prawej stronie tutaj. (in podcast 32)

Jedna wielka wskazówka było usunąć wszystkie common words, jak „ten” „i” „to” itd. To zostawię was z bardziej znaczących słów do porównania.

I tu jest podobne pytanie Is there an algorithm that tells the semantic similarity of two phrases

Answer 4

Ten book mogą być istotne.

Edit: Oto związanych SO question

Answer 5

Jest to całkiem wykonalne dla uzasadnionych dużych tekstów, ale trudniejsze dla mniejszych tekstów.

Zrobiłem to raz tak, i to działało całkiem dobrze:

• filtrowania wszystkich "Ogólne" słowa (takie jak a, an, the, in, etc ...) (filtruje około 10-30 % słów)
• Policz częstotliwości pozostałych słów, zapisz najwyższe x najczęstszych słów, to są twoje tematy.
• Jako dodatkowy krok możesz utworzyć grupy 2/3/4 kolejnych słów i porównać je z grupami w innych tekstach. Użyłem tego jako miary dla plagializmu.

Answer 6

Zobacz uwagi dotyczące kursu Manninga i Raghavana na temat MinHashing i wyszukiwania podobnych przedmiotów oraz C#(?) version. Wierzę, że techniki pochodzą z badań Ullmana i Motwani.

Answer 7

fonetyczne algorytmy

W artykule Beyond SoundEx - Functions for Fuzzy Searching in MS SQL Server, pokazuje jak zainstalować i korzystać z biblioteki SimMetrics w SQL Server.Ta biblioteka pozwala znaleźć względne podobieństwo między ciągami i zawiera wiele algorytmów.

Skończyłem głównie używając Jaro Winkler, aby dopasować nazwy. Tutaj jest więcej informacji, gdzie pytałem o pasujące nazwy na SO: Matching records based on Person Name

Kilka algorytmów opartych na Levenshtein Distance są również dostępne w bibliotece SimMetric i prawdopodobnie będą przydatne w aplikacji.