Klastrowanie oparte na macierzy odległościowej

Question

Moim celem jest grupowanie słów na podstawie ich zbieżności w stosunku do zbioru dokumentów tekstowych. Wyliczyłem podobieństwo Jaccard pomiędzy każdą parą słów. Innymi słowy, mam ze sobą rzadką matrycę odległości. Czy ktokolwiek może wskazać mi dowolny algorytm grupowania (i ewentualnie jego bibliotekę w Pythonie), który bierze matrycę odległości jako dane wejściowe? Nie znam też wcześniej liczby klastrów. Chcę tylko skupić te słowa i uzyskać, które słowa są skupione razem.

Answer 1

Pakiet klastrowania scipy może być przydatny (scipy.cluster). Istnieją hierarchiczne funkcje grupowania w scipy.cluster.hierarchy. Należy jednak pamiętać, że wymagają one skondensowanej matrycy jako wejścia (górny trójkątny macierzy odległości). Mam nadzieję, że strony dokumentacji pomogą ci razem.

Answer 2

Możesz użyć większości algorytmów w nauce scikit z wstępnie obliczoną macierzą odległości. Niestety potrzebujesz wielu klastrów dla wielu algorytmów. DBSCAN jest jedynym, który nie potrzebuje liczby klastrów, a także używa macierzy arbitralnych odległości. Możesz także wypróbować MeanShift, ale to zinterpretuje odległości jako współrzędne - co również może działać.

Istnieje również affinity propagation, ale tak naprawdę nie widziałem, że działa dobrze. Jeśli jednak potrzebujesz wielu klastrów, może to być pomocne.

Ujawnienie: Jestem uczonym dev rdzenia naukowego.