jak jest backpropagation to samo (lub nie) jak odwrotne automatyczne różnicowanie?

Question

Wikipedia page for backpropagation ma ten Zastrzeżenia patentowe

Algorytm wstecznej do obliczania gradientu odwiedził na nowo odkrytych kilka razy, to specjalny przypadek więcej ogólną techniką zwane automatyczne zróżnicowanie w trybie odwrotnym akumulacji .

Czy ktoś może to wyjaśnić, umieścić w laika warunki? Jaka jest funkcja różnicowania? Co to jest "specjalny przypadek"? Czy są to same wartości zespolone, czy też ostateczny gradient?

Answer 1

W treningu sieci neuronowej chcemy znaleźć zestaw odważników w, który minimalizuje błąd E(N(w,x)-y). (x jest wejściem szkoleniowym, y jest wyjściem szkoleniowym, N jest siecią, a E jest funkcją błędu).

Standardowym sposobem na zrobienie takiej optymalizacji jest pochylenie gradientowe, które używa pochodnej sieci, powiedzmy: N'. Moglibyśmy reprezentować sieć jako produkt macierzowy i robić to ręcznie za pomocą rachunku macierzowego, ale możemy również pisać algorytmy (automatyczne).

Backpropagation to specjalny taki algorytm, który ma pewne zalety. Na przykład ułatwia przyjęcie pochodnej tylko w odniesieniu do wybranej próbki ciężarów, tak jak jest to potrzebne w przypadku gradientowego spadku stochastycznego. Określa również, w jaki sposób zapisywane są dane z wyprzedzeniem (rzeczywiste wartości sieciowe), aby były łatwo dostępne do obliczania potrzebnych instrumentów pochodnych.

Powinieneś być w stanie znaleźć dokładny kod dla konkretnego algorytmu w podręcznikach, a także w Internecie.