Poufna wzajemna informacja na temat tekstu

Question

Zastanawiałem się, w jaki sposób można obliczyć wzajemne informacje punktowe dla klasyfikacji tekstu. Dokładniej, chcę klasyfikować tweety w kategoriach. Mam zestaw danych z tweetami (które są opatrzone przypisami) i mam słownik na kategorię słów, które należą do tej kategorii. Biorąc pod uwagę te informacje, w jaki sposób można obliczyć PMI dla każdej kategorii na tweet, aby sklasyfikować tweet w jednej z tych kategorii.

Answer 1

PMI jest miarą powiązania między cechą (w twoim przypadku wyrazem) a klasą (kategorią), a nie między dokumentem (tweetem) a kategorią. Formuła jest dostępny na Wikipedia:

    P(x, y) 
pmi(x ,y) = log ------------ 
        P(x)P(y) 

W tym wzorze, X jest zmienną losową, że modele wystąpieniu słowo, a Y modeluje wystąpienie klasy. Dla danego słowa x i danej klasy y można użyć PMI, aby zdecydować, czy dana funkcja ma charakter informacyjny, czy nie, i na tej podstawie można dokonać wyboru cech. Posiadanie mniejszej ilości funkcji często poprawia wydajność twojego algorytmu klasyfikacji i znacznie go przyspiesza. Etap klasyfikacji jest jednak oddzielny - PMI pomaga tylko wybrać lepsze funkcje, które można zastosować w algorytmie uczenia się.

---

Edit: Jedno nie wspomnieć w oryginalnym wątku jest to, że PMI jest wrażliwy na częstotliwościach słownych. Załóżmy przepisać wzór jak

    P(x, y)    P(x|y) 
pmi(x ,y) = log ------------ = log ------------ 
        P(x)P(y)    P(x) 

Kiedy x i y są doskonale skorelowane, P(x|y) = P(y|x) = 1, więc pmi(x,y) = 1/P(x). Rzadziej x -es (słowa) będzie miał wyższy wynik PMI niż częste x -es, nawet jeśli oba są doskonale skorelowane z y.