Funkcje skorelowane i dokładność klasyfikacji

Question

Chciałbym zadać każdemu pytanie o to, jak skorelowane cechy (zmienne) wpływają na dokładność klasyfikacji algorytmów uczenia maszynowego. Z cechami skorelowanymi mam na myśli korelację między nimi, a nie z klasą docelową (tj. Obwodem i obszarem figury geometrycznej lub poziomem wykształcenia i średniego dochodu). Moim zdaniem skorelowane cechy negatywnie wpływają na dokładność ech algorytmu klasyfikacji, powiedziałbym, ponieważ korelacja czyni jeden z nich bezużytecznym. Czy to naprawdę tak jest? Czy problem zmienia się w zależności od rodzaju algorytmu klasyfikacji? Wszelkie sugestie na temat referatów i wykładów są naprawdę mile widziane! Dzięki

Answer 1

Ogólnie rzecz biorąc powiedziałbym, że im bardziej nieskorelowane są funkcje, tym lepsza będzie wydajność klasyfikatora. Biorąc pod uwagę zestaw wysoce skorelowanych funkcji, możliwe jest zastosowanie technik PCA, aby uczynić je możliwie prostopadłymi w celu poprawy wydajności klasyfikatora.

Answer 2

Funkcje skorelowane nie wpływają na dokładność klasyfikacji jako taką. Problem w realistycznej sytuacji polega na tym, że mamy skończoną liczbę przykładów szkoleniowych, na których można wyszkolić klasyfikatora. W przypadku stałej liczby przykładów treningu zwiększenie liczby funkcji zwykle zwiększa dokładność klasyfikacji do danego punktu, ale ponieważ liczba funkcji nadal rośnie, dokładność klasyfikacji ostatecznie się zmniejszy, ponieważ jesteśmy wtedy niewspróbowany w stosunku do dużej liczby funkcji. Aby dowiedzieć się więcej na temat implikacji tego, spójrz na curse of dimensionality.

Jeśli dwie cechy numeryczne są doskonale skorelowane, to nie dodaje się żadnych dodatkowych informacji (jest to określone przez inne). Jeśli więc liczba cech jest zbyt duża (w stosunku do wielkości próbki treningowej), korzystne jest zmniejszenie liczby funkcji za pomocą techniki feature extraction (np. Za pomocą principal components)

Efekt korelacji zależy od typ klasyfikatora. Niektóre klasyfikatory nieparametryczne są mniej wrażliwe na korelację zmiennych (chociaż czas treningu prawdopodobnie wzrośnie wraz ze wzrostem liczby funkcji). W przypadku metod statystycznych, takich jak maksymalne prawdopodobieństwo Gaussa, posiadanie zbyt wielu skorelowanych cech w stosunku do wielkości próbki treningowej spowoduje, że klasyfikator stanie się niezdatny do użytku w oryginalnej przestrzeni cech (macierz kowariancji danych próbki stanie się pojedyncza).