Sieć neuronowa, czy warto zmieniać tempo uczenia się i tempo w miarę upływu czasu?

Question

Czy warto zmienić współczynnik uczenia się po spełnieniu określonych warunków? A jak i dlaczego to zrobić? Na przykład, sieć rozpocznie się od wysokiego współczynnika uczenia się, a po podniesieniu kwadratu błąd jest niski, a szybkość uczenia się spadnie, aby uzyskać lepszą precyzję, lub szybkość uczenia się powinna wzrosnąć, aby wyskoczyć z lokalnych minimów. Czy nie spowoduje nadmiernego dopasowania? A co z pędem?

Answer 1

Zwykle powinieneś zacząć od dużej szybkości uczenia się i niskiego tempa. Następnie zmniejszasz szybkość uczenia się w czasie i zwiększasz pęd. Pomysł polega na umożliwieniu większej eksploracji na początku uczenia się i konwergencji sił pod koniec nauki. Zwykle powinieneś spojrzeć na błąd szkolenia, aby ustawić swój harmonogram nauki: jeśli utknął, tj. Błąd się nie zmienia, nadszedł czas, aby zmniejszyć swój wskaźnik uczenia się.