Sieć neuronowa z tanh niewłaściwym nasyceniem ze znormalizowanymi danymi

Question

Używam sieci neuronowej zbudowanej z 4 neuronów wejściowych, 1 ukrytej warstwy zbudowanej z 20 neuronów i warstwy wyjściowej 7 neuronów.

Próbuję wyszkolić go na algorytm bcd do 7 segmentów. Moje dane normalizuje 0 -1 i 1 to 1.

Gdy ocena błąd wyjścia nastąpi, neuron nasyca źle. Jeśli żądanym wyjściem jest 1, a rzeczywistym wyjściem jest -1, błąd wynosi 1-(-1)= 2.

Po pomnożeniu przez pochodną funkcji aktywacji error*(1-output)*(1+output), błąd staje się prawie 0 Z powodu 2*(1-(-1)*(1-1).

Jak mogę uniknąć tego błędu nasycenia?

Answer 1

Nasycenie asymptotami funkcji aktywacji jest częstym problemem z sieciami neuronowymi. Jeśli spojrzysz na wykres funkcji, to nie jest zaskoczeniem: są prawie płaskie, co oznacza, że ​​pierwsza pochodna jest (prawie) 0. Sieć nie może się więcej nauczyć.

Prostym rozwiązaniem jest przeskalowanie funkcji aktywacji, aby uniknąć tego problemu. Na przykład, w tanh() funkcji aktywacji (mój ulubiony), to zaleca się stosowanie następujących funkcji aktywacji, gdy sygnał wyjściowy jest {-1, 1}

f(x) = 1.7159 * tanh(2/3 * x) 

W związku z tym pochodna

f'(x) = 1.14393 * (1- tanh(2/3 * x)) 

To zmusi gradienty do najbardziej nieliniowego zakresu wartości i przyspieszy proces uczenia. Dla wszystkich szczegółów polecam czytanie wspaniałego papieru Yanna LeCun'a: Efficient Back-Prop. W przypadku aktywacji funkcji tanh) (, błąd zostanie obliczona jako

error = 2/3 * (1.7159 - output^2) * (teacher - output) 

Answer 2

Jest to możliwe bez względu na to, z jakiej funkcji korzystasz. Pochodna z definicji będzie wynosić zero, gdy wyjście osiągnie jedną z dwóch skrajności. Minęło trochę czasu, odkąd pracowałem z Artificial Neural Networks, ale jeśli dobrze pamiętam, to (między innymi) jest jednym z ograniczeń stosowania prostego algorytmu propagacji wstecznej.

Można dodać Momentum factor aby upewnić się, że jest jakaś korekta opiera się wcześniejsze doświadczenia, nawet gdy pochodna jest równa zero.

Można też trenować go przez epoki, gdzie gromadzą wartości delta dla ciężarów przed wykonaniem rzeczywistego aktualizacji (w porównaniu do jego aktualizacji każdej iteracji). To również łagodzi warunki, w których wartości delta oscylują pomiędzy dwiema wartościami.

Nie może być bardziej zaawansowane metody, takie jak metody drugiego rzędu dla pleców propagacji, które złagodzą ten konkretny problem.

Jednakże, należy pamiętać, że tanh osiąga -1 albo +1 w nieskończoności, a problem jest czysto teoretyczna.

Answer 3

nie całkowicie pewien, czy mam poprawnie czyta pytanie, ale jeśli tak, to należy skalować swoje wejścia i cele między 0,9 i -0.9 które mogłyby pomóc swoim pochodne być bardziej rozsądny.