PCA Dla funkcji jakościowych?

Question

W moim rozumieniu pomyślałem, że PCA może być wykonywane tylko dla funkcji ciągłych. Ale starając się zrozumieć różnicę pomiędzy kodowaniem onehot i kodowania etykiet przedziera stanowisko w następujący link:

When to use One Hot Encoding vs LabelEncoder vs DictVectorizor?

Stwierdza, że ​​jeden gorący kodowania następnie PCA jest to bardzo dobra metoda, która w zasadzie oznacza PCA jest stosowany dla cech kategorycznych. Stąd pomieszany, proszę zasugeruj mi na tym samym.

Answer 1

Nie zgadzam się z innymi.

Podczas gdy można użyć PCA na danych binarnych (np. Dane zakodowane jeden-hot), co nie oznacza, że ​​jest to dobre, lub będzie działać bardzo dobrze.

Parametry PCA są zmienne na ciągłe. Próbuje zminimalizować wariancję (= odchylenia kwadratów). Pojęcie odchyleń do kwadratu rozkłada się, gdy masz zmienne binarne.

Tak, możesz użyć PCA. I tak, otrzymujesz wynik. Jest to nawet najmniejsze kwadratowe wyjście - nie jest tak, że PCA miałoby powodować uszkodzenie takich danych. Działa, ale jest znacznie mniej znaczący, niż znaczący niż chcesz; i rzekomo mniej znaczące niż np. częste modelowanie.

Answer 2

PCA to dimensionality reduction method, który można zastosować dowolny zestaw funkcji. Oto przykład z użyciem OneHotEncoded (tj kategoryczne) dane:

from sklearn.preprocessing import OneHotEncoder 
enc = OneHotEncoder() 
X = enc.fit_transform([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]]).toarray() 

print(X) 

> array([[ 1., 0., 1., 0., 0., 0., 0., 0., 1.], 
     [ 0., 1., 0., 1., 0., 1., 0., 0., 0.], 
     [ 1., 0., 0., 0., 1., 0., 1., 0., 0.], 
     [ 0., 1., 1., 0., 0., 0., 0., 1., 0.]]) 


from sklearn.decomposition import PCA 
pca = PCA(n_components=3) 
X_pca = pca.fit_transform(X) 

print(X_pca) 

> array([[-0.70710678, 0.79056942, 0.70710678], 
     [ 1.14412281, -0.79056942, 0.43701602], 
     [-1.14412281, -0.79056942, -0.43701602], 
     [ 0.70710678, 0.79056942, -0.70710678]]) 

Answer 3

Zasadniczo PCA wyszukuje i eliminuje mniej informacyjny (duplikat) informacji o zestawie funkcji i zmniejszenie wymiaru przestrzeni cech. Innymi słowy, wyobraź sobie N-wymiarową hiperprzestrzeń, PCA znajduje takie M (M < N) cechy, że dane różnią się najbardziej. W ten sposób dane mogą być reprezentowane jako M-wymiarowe wektory cech. Matematycznie, jest to pewnego rodzaju wartości własne & obliczenia wektorów własnych przestrzeni cech.

Nie ma zatem znaczenia, czy funkcje są ciągłe, czy nie.

PCA jest szeroko stosowana w wielu aplikacjach. Głównie do eliminowania hałaśliwych, mniej informacyjnych danych pochodzących z jakiegoś sensora lub sprzętu przed klasyfikacją/rozpoznawaniem.

Answer 4

MCA jest znaną techniką redukcji wymiaru danych kategorialnych. W R istnieje wiele pakietów do użycia MCA, a nawet mix z PCA w mieszanym kontekście. W pythonie istnieje również biblioteka mca. MCA stosować podobne policzyć, że PCA rzeczywiście francuski statystyk mawiał, „analiza danych jest znalezienie poprawnej matrycy do diagonalize”

http://gastonsanchez.com/visually-enforced/how-to/2012/10/13/MCA-in-R/