Oblicz gradient funkcji utraty SVM.

Question

Próbuję zaimplementować funkcję utraty SVM i jej gradient. Znalazłem kilka przykładów projektów, które implementują te dwa, ale nie mogłem dowiedzieć się, jak mogą korzystać z funkcji utraty podczas obliczania gradientu.

Oto wzór funkcji strat:

Co nie mogę zrozumieć, że jak mogę wykorzystać wynik funkcji straty, podczas gdy obliczanie gradientu?

Przykład projekt oblicza nachylenie w następujący sposób:

for i in xrange(num_train): 
    scores = X[i].dot(W) 
    correct_class_score = scores[y[i]] 
    for j in xrange(num_classes): 
     if j == y[i]: 
     continue 
     margin = scores[j] - correct_class_score + 1 # note delta = 1 
     if margin > 0: 
     loss += margin 
     dW[:,j] += X[i] 
     dW[:,y[i]] -= X[i] 

DW na skutek gradientu. A X to zestaw danych treningowych. Ale nie rozumiem, w jaki sposób pochodna funkcji straty powoduje ten kod.

Answer 1

Jeśli odejmowanie jest mniejsze od zera, strata wynosi zero, więc gradient W również wynosi zero. Jeśli podstawienie jest większe od zera, wówczas gradient W jest częściowym odchyleniem straty.

Answer 2

Metoda obliczania gradientu w tym przypadku to Rachunek (analitycznie, NIE numerycznie!). Więc odróżnić funkcję strat w odniesieniu do W (yi) tak:

iw odniesieniu do W (j), gdy j = Yi:

1 jest wskaźnik tylko funkcja, dzięki czemu możemy zignorować środkową formę, gdy warunek jest prawdziwy. A kiedy piszesz w kodzie, podany przez Ciebie przykład jest odpowiedzią.

Ponieważ używasz przykładu cs231n, powinieneś zdecydowanie sprawdzić note i filmy w razie potrzeby.

Mam nadzieję, że to pomoże!