Jak uzyskać proste wyjaśnienie pochodzenia współrzędnych i rozwiązania podrzędnego w kontekście lasso.Wyjaśnienie dotyczące współrzędnych zejścia i podklasy
Intuicyjne wyjaśnienie, po którym następuje dowód, będzie pomocne.
Załóżmy, że masz funkcję wielozmienną F(W) z K liczba zmiennych/parametrów w (w_1, w_2, w_3, ..., w_k). Parametrami są gałki , a celem jest zmiana tych gałek w taki sposób, że F jest zminimalizowane do funkcji F. Współrzędne pochodzenia to chciwa metoda, w której w każdej iteracji zmienia się wartości parametrów w_i, aby zminimalizować F. Jest bardzo łatwy w implementacji i jak gradient descent gwarantuje minimalizację F w każdej iteracji i osiągnięcie lokalnych minimów.
zdjęcia zapożyczone z Internetem za pośrednictwem Bing Image Search
Jak widać na zdjęciu powyżej, funkcja F ma dwa parametry x i y. Przy każdej iteracji oba parametry zmieniają się o stałą wartość c, a wartość funkcji jest oceniana w nowym punkcie. Jeśli wartość jest wyższa, a celem jest zminimalizowanie funkcji, zmiana jest odwracana dla wybranego parametru. Następnie wykonuje się tę samą procedurę dla drugiego parametru. Jest to jedna iteracja algorytmu.
Zaletą korzystania ze zjazdu współrzędnych są problemy, w których obliczanie gradientu funkcji jest kosztowne.
Źródła
Niż. Słyszałem, że tam, gdzie gradient obliczeniowy jest drogi, wylicza się podgradient, aby uzyskać rozwiązanie, np. Funkcję wartości bezwzględnej. Zastanawiasz się, czy mogę uzyskać intuicyjne wyjaśnienie informatyki dla podgradientów? – shan
@shan No cóż, zgodnie z moją wiedzą, komputer obliczeniowy to infact obliczający pochodną funkcji w danym punkcie. Spójrz na [ten link] (https://en.wikipedia.org/wiki/Subderivative), aby uzyskać więcej informacji na temat subgradient. Chociaż ma to sens, ale ja osobiście nie wiem, jaka jest dokładna zależność pomiędzy pochodzeniem współrzędnych a metodami podrzędnymi. Mogę ci tylko powiedzieć, że jeśli funkcja jest wypukła, podgradient jest samym gradientem. – Amir
"jeśli funkcja jest wypukła, podgradient jest samym gradientem" - to jest niepoprawne. Na przykład funkcja f (x) = | x | jest wypukły, ale przy x = 0 każdy punkt w zakresie [-1,1] jest podgradientem. Powinno być: jeśli funkcja jest różniczkowalna przy x0 ==> jedynym podgradientem jest gradient. –