W jaki sposób ustalane są ratio_manualności w RandomForestClassifier?

Question

Mam zadanie klasyfikacji z szeregiem czasowym jako dane wejściowe, gdzie każdy atrybut (n = 23) reprezentuje określony punkt w czasie. Oprócz absolutnego wyniku klasyfikacji chciałbym się dowiedzieć, które atrybuty/daty przyczyniają się do wyniku w jakim zakresie. Dlatego używam tylko feature_importances_, który działa dobrze dla mnie.

Chciałbym jednak wiedzieć, w jaki sposób są obliczane i jaki pomiar/algorytm jest używany. Niestety nie mogłem znaleźć żadnej dokumentacji na ten temat.

Answer 1

Jest to stosunek liczby próbek kierowanych do węzła decyzyjnego obejmującego tę funkcję w dowolnym drzewku zespołu w stosunku do całkowitej liczby próbek w zbiorze treningowym.

Funkcje, które są zaangażowane w węzły najwyższego poziomu drzew decyzyjnych, mają tendencję do dostrzegania większej liczby próbek, dlatego mogą mieć większe znaczenie.

Edytuj: ten opis jest tylko częściowo poprawny: odpowiedzi Gillesa i Petera są poprawną odpowiedzią.

Answer 2

Zwykłym sposobem obliczania wartości funkcji wagę jednego drzewa jest następujący:

1. zainicjować tablicę feature_importances wszystkich zer o rozmiarze n_features.

2. Ci przemierzać drzewa: dla każdego węzła wewnętrznego, który dzieli się na funkcji i obliczyć redukcję błędów tego węzła pomnożonej przez liczbę próbek, które były kierowane do węzła i dodać tę ilość do feature_importances[i].

Zmniejszenie błędu zależy od zastosowanego kryterium zanieczyszczenia (np. Gini, Entropy, MSE, ...). Jest to zanieczyszczenie zestawu przykładów, które jest kierowane do węzła wewnętrznego minus suma zanieczyszczeń z dwóch partycji utworzonych przez podział.

Ważne jest, aby te wartości odnosiły się do określonego zestawu danych (zarówno zmniejszenie błędu, jak i liczba próbek są specyficzne dla zestawu danych), dlatego tych wartości nie można porównywać między różnymi zestawami danych.

O ile mi wiadomo, istnieją alternatywne sposoby obliczania wartości ważności funkcji w drzewach decyzyjnych. Krótki opis powyższej metody można znaleźć w "Elementach statystycznego uczenia się" autorstwa Trevora Hastie, Roberta Tibshirani i Jerome'a ​​Friedmana.

Answer 3

Istnieje kilka sposobów na uzyskanie funkcji "importu". Jak często nie ma ścisłego porozumienia co do tego, co oznacza to słowo.

W nauce o scikitach wdrażamy znaczenie opisane w [1] (często cytowane, ale niestety rzadko czytamy ...). Czasami określa się go mianem "znaczenia gini" lub "średniego zmniejszenia zanieczyszczenia" i określa się go jako całkowity spadek zanieczyszczenia węzłów (ważony prawdopodobieństwem dotarcia do tego węzła (który jest przybliżony przez proporcję próbek docierających do tego węzła)) uśredniony dla wszystkich drzewa zespołu.

W literaturze lub w niektórych innych pakietach można również znaleźć importowane funkcje jako "średnia dokładność zmniejszania". Zasadniczo chodzi o pomiar spadku dokładności danych OOB, gdy losowo permutujesz wartości dla tej funkcji. Jeśli spadek jest niski, funkcja nie jest ważna i odwrotnie.

(Należy zauważyć, że obydwa algorytmy są dostępne w pakiecie lasy losowe r.)

[1]: Breiman Friedman, "Klasyfikacja i drzewa regresji", 1984.

Answer 4

@GillesLouppe Jak wskazano powyżej, scikit-learn obecnie implementuje miarę "średnie zmniejszenie nieczystości" dla importowanych funkcji. Osobiście uważam, że drugi wskaźnik jest nieco bardziej interesujący, w którym losowo zmienia się wartości każdej z funkcji jeden po drugim i widzisz, o ile gorsza jest wydajność poza bagażem.

Od tego, do czego dążysz, ważne jest to, ile każda z funkcji przyczynia się do predykcyjnej wydajności całego modelu, druga miara daje ci bezpośrednią miarę tego, natomiast "średnia redukcja nieczystości" jest po prostu dobrą wartością zastępczą .

Jeśli jesteś zainteresowany, napisałem mały pakiet, który implementuje znaczenie permutacja metryczny i mogą być wykorzystane do obliczenia wartości z instancji klasy losowej leśnej scikit-learn:

https://github.com/pjh2011/rf_perm_feat_import

Edytuj: Działa to dla Pythona 2.7, a nie 3