Gdzie dodać przerwanie w sieci neuronowej?

Question

I widać opis widełek w różnych częściach sieci neuronowej:

1. przerywania w macierzy wagowej,

2. przerywania w ukrytej warstwie po mnożenia macierzy, przed Relu,

3. przerywania w ukrytej warstwie po Relu,

4. i opadanie w wyniku wyjścia przed Softmax funkcji

Jestem trochę zdezorientowany tym, gdzie powinienem wykonać przerwanie. Czy ktoś mógłby pomóc w opracowaniu tego? Dzięki!

Answer 1

Więc:

1. Pierwsze użycie opisałeś nazywa się porzucaniu na wagach.
2. Drugie i trzecie użycie, które opisałeś, są takie same i są zwykle opisane jako nieaktywne rezygnacja z aktywacji. Można łatwo zauważyć, że może on być reprezentowany pod względem rezygnacji z wagi, gdy cały wiersz (lub kolumna - w zależności od realizacji) jest wyłączony.
3. W czwartym przypadku nie jest to poprawne użycie przerywania - warstwa, z której chcesz skorzystać, jest warstwą wyjściową - więc nie jest najlepszym pomysłem skorzystanie z tej opcji.