Jaka jest różnica między gradientem zejścia a spadkiem gradientu Newtona?

Question

Rozumiem, co robi Gradient Descent. Zasadniczo próbuje przejść do lokalnego optymalnego rozwiązania, powoli przesuwając się w dół krzywej. Próbuję zrozumieć, jaka jest rzeczywista różnica między spadkiem gradientu planu a metodą Newtona?

Z Wikipedii przeczytałem krótką linijkę "Metoda Newtona wykorzystuje informacje o krzywiznach, aby wybrać bardziej bezpośrednią trasę." Co to intuicyjnie oznacza?

Answer 1

Przy lokalnym minimum (lub maksimum) x, pochodna funkcji docelowej f znika: f'(x) = 0 (przy założeniu wystarczającej gładkości)).

Pochylenie gradientowe próbuje znaleźć takie minimum x, korzystając z informacji z pierwszej pochodnej f: Po prostu następuje po najbardziej stromym zejście z bieżącego punktu. To jest jak rzucanie piłką w dół wykresu f, aż dojdzie do odpoczynku (przy jednoczesnym zaniedbaniu bezwładności).

metoda Newtona próbuje znaleźć punkt x spełniającego f'(x) = 0 poprzez zbliżenie f' z funkcją liniową g a następnie rozwiązywanie korzenia tej funkcji jawnie (nazywa się metodę korzeniowy rozpoznawczej Newtona). Korzeń g niekoniecznie jest korzeniem f', ale w wielu okolicznościach jest to dobre przypuszczenie (Wikipedia article on Newton's method for root finding ma więcej informacji na temat kryteriów zbieżności). Podczas aproksymowania f' metoda Newtona wykorzystuje f'' (krzywizna f). Oznacza to, że ma wyższe wymagania co do gładkości f, ale oznacza to również, że (przy użyciu większej ilości informacji) często zbiegają się szybciej.

Answer 2

Edycja 2017: Oryginalny link jest martwy - ale droga powrotna maszyna wciąż mam go :) https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf punkt

ta moc główne idee zostały wyjaśnione po prostu http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf

Mam nadzieję, że to pomoże:)

Answer 3

Mówiąc prosto, zejście gradientem, po prostu zrób mały krok w kierunku, w którym myślisz, że zero jest, a następnie przeliczyć ponownie; Metoda Newtona, idziesz tam do końca.