Jaki jest domyślny inicjator zmiennej w Tensorflow?

Question

Jaka jest domyślna metoda inicjalizacji zmiennych używana po wywołaniu tf.get_variable() bez żadnej specyfikacji dla inicjalizatora? Dokumenty po prostu mówią "Brak".

Answer 1

From the documentation:

Jeżeli inicjująca jest None (domyślna), użyty zostanie domyślny przeszedł w zakresie zmiennej inicjator. Jeśli jest to również None, zostanie użyty glorot_uniform_initializer.

Funkcja glorot_uniform_initializer inicjalizuje wartości z jednolitego rozkładu.

Ta funkcja jest documented jak:

Glorot jednolity inicjatora, zwany także Xavier jednolitego inicjatora.

pobiera się próbki z równomiernym rozkładem w ciągu [-limit, granica]
gdzie limit jest sqrt(6/(fan_in + fan_out))
gdzie fan_in jest liczba urządzeń wejściowych tensora masy
i fan_out to liczba jednostek wyjściowymi tensor wagi.

referencyjny: http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf