Niezagregowane gradienty/gradienty na przykład w tensorflow

Question

Biorąc pod uwagę prosty mini-partyjny gradient zejścia na mnist w tensorflow (jak w tym tutorial), w jaki sposób mogę indywidualnie pobierać gradienty dla każdego przykładu z partii.

tf.gradients() wydaje się zwracać gradienty uśrednione dla wszystkich przykładów w grupie. Czy istnieje sposób na pobieranie gradientów przed agregacją?

Edycja: Pierwszym krokiem w kierunku tej odpowiedzi jest ustalenie, w którym momencie tensorflow uśrednia gradienty na przykładach w partii. Myślałem, że stało się to w _AggregatedGrads, ale nie wydaje się, żeby tak było. Jakieś pomysły?

Answer 1

zwraca gradient w odniesieniu do straty. Oznacza to, że jeśli strata jest sumą strat przykładowych, to gradient jest również sumą gradientów strat dla przykładu.

Podsumowanie jest domyślne. Na przykład, jeśli chcesz zminimalizować sumę kwadratów norm z błędów Wx-y, gradient w odniesieniu do W to 2(WX-Y)X', gdzie X to partia obserwacji, a Y to partia etykiet. Nigdy nie tworzysz wyraźnie gradientów "na przykład", które później podsumowałeś, więc nie jest to prostą sprawą usunięcia jakiegoś etapu w potoku gradientowym.

Prostym sposobem uzyskania gradientów strat na przykład jest użycie partii o rozmiarze 1 i wykonanie k. Ian Goodfellow wrote up jak zdobyć wszystkie k gradientów w jednym przejściu, gdyż to należy określić gradienty wyraźnie i nie polegać na tf.gradients metody

Answer 2

częściowo odpowiedzieć na moje własne pytanie po majstrować przy tym za chwilę. Wydaje się, że możliwe jest manipulowanie gradienty na przykład podczas gdy nadal pracuje w partii, wykonując następujące czynności:

• Utwórz kopię tf.gradients(), która przyjmuje dodatkowy tensorowy/zastępczy z przykładowych specyficznych czynników
• Utwórz kopię _AggregatedGrads() i dodać niestandardową metodę agregacji, który wykorzystuje przykładowe czynniki specyficzne
• Zadzwoń do funkcji niestandardowych tf.gradients i dać swoje straty w postaci listy plasterków:

custagg_gradients( ys=[cross_entropy[i] for i in xrange(batch_size)],
xs=variables.trainable_variables(), aggregation_method=CUSTOM, gradient_factors=gradient_factors )

Ale to prawdopodobnie będzie mieć taką samą złożoność jak wykonywanie poszczególnych przejść na przykład, i muszę sprawdzić, czy gradienty są poprawne :-).

Answer 3

Jednym ze sposobów pobierania gradientów przed agregacją jest użycie parametru grads_ys. Dobrym dyskusja znajduje się tutaj:

Use of grads_ys parameter in tf.gradients - TensorFlow