Pochodna wyjaśnienia funkcji softmax

Question

Próbuję obliczyć pochodną funkcji aktywacji dla softmax. Znalazłem to: https://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function nikt nie wydaje właściwego wyprowadzenia dla tego, jak uzyskalibyśmy odpowiedzi dla i = j i i! = J. Czy ktoś mógłby to wyjaśnić! Mylę się z pochodnymi, gdy sumowanie jest zaangażowane jak w mianowniku funkcji aktywacji softmax.

Answer 1

Pochodna sumy jest sumą pochodnych, tj:

d(f1 + f2 + f3 + f4)/dx = df1/dx + df2/dx + df3/dx + df4/dx 

do uzyskania pochodnych p_j względem o_i zaczynamy:

d_i(p_j) = d_i(exp(o_j)/Sum_k(exp(o_k))) 

postanowiłem wykorzystać d_i dla pochodnej w odniesieniu do o_i, aby ułatwić czytanie. Stosując regułę produktów otrzymujemy:

 d_i(exp(o_j))/Sum_k(exp(o_k)) + exp(o_j) * d_i(1/Sum_k(exp(o_k))) 

Patrząc na pierwszą kadencję, pochodna będzie 0 jeśli i != j, może być reprezentowany z delta function które wezwę D_ij. Daje to (w pierwszym okresie):

= D_ij * exp(o_j)/Sum_k(exp(o_k)) 

który jest po prostu nasza pierwotna funkcja mnoży się przez D_ij

= D_ij * p_j 

na drugą kadencję, gdy czerpiemy każdy element sumy indywidualnie, tylko non -ZERO termin będzie, gdy , to daje nam (nie zapominając o zasadę zasilania, ponieważ suma jest w mianowniku)

= -exp(o_j) * Sum_k(d_i(exp(o_k))/Sum_k(exp(o_k))^2 
    = -exp(o_j) * exp(o_i)/Sum_k(exp(o_k))^2 
    = -(exp(o_j)/Sum_k(exp(o_k))) * (exp(o_j)/Sum_k(exp(o_k))) 
    = -p_j * p_i 

Umieszczenie dwóch t ogether otrzymamy zaskakująco prosty wzór:

D_ij * p_j - p_j * p_i 

Jeśli naprawdę chcesz, możemy podzielić ją na i = j i i != j przypadkach:

i = j: D_ii * p_i - p_i * p_i = p_i - p_i * p_i = p_i * (1 - p_i) 

    i != j: D_ij * p_i - p_i * p_j = -p_i * p_j 

Który jest naszą odpowiedzią.

Answer 2

Za to, co jest warte, oto moje pochodzenie oparte na odpowiedzi SirGuy: (Zapraszam do wskazywania błędów, jeśli znajdziesz jakieś).