Jak wybrać liczbę ukrytych warstw i węzłów w sieci neuronowej?

Question

Co powoduje, że liczba ukrytych warstw w wielowarstwowej sieci neuronowej perceptronu zachowuje się tak, jak zachowuje się sieć neuronowa? To samo pytanie dla liczby węzłów w ukrytych warstwach?

Załóżmy, że chcę używać sieci neuronowej do ręcznego rozpoznawania znaków. W tym przypadku ustawiam wartości intensywności koloru pikseli jako węzły wejściowe, a klasy znaków jako węzły wyjściowe.

Jak wybrać liczbę ukrytych warstw i węzłów do rozwiązania tego problemu?

Answer 1

Ogólna odpowiedź polega na tym, że do wybierania hiperparametrów należy weryfikacja krzyżowa. Trzymaj dane, trenuj sieci w różnych konfiguracjach i korzystaj z tych, które najlepiej radzą sobie z wyciągniętym zestawem.

Answer 2

Uwaga: ta odpowiedź była prawidłowa w momencie jej wykonania, ale od tego czasu stała się nieaktualna.

---

W sieci neuronowej rzadko występują więcej niż dwie ukryte warstwy. Liczba warstw zazwyczaj nie będzie parametrem sieci, o którą będziesz się martwić.

Chociaż wielowarstwowe sieci neuronowe z wielu warstw może reprezentować głębokich obwodów, szkolenia głębokie sieci zawsze była postrzegana jako nieco wyzwaniem. Do niedawna badania empiryczne często stwierdzały, że głębokie sieci generalnie nie działały lepiej, a często gorzej, niż sieci neuronowe z jedną lub dwiema ukrytymi warstwami.

Bengio, Y. & LeCun, Y., 2007. Scaling learning algorithms towards AI. Large-Scale Kernel Machines, (1), pp.1-41.

Wspomniany papier jest dobre odniesienie do nauki o efekt głębi sieci, ostatnie postępy w nauczaniu głębokie sieci i głębokiej nauki w ogóle.

Answer 3

Większość problemów, które widziałem, zostało rozwiązanych z 1-2 ukrytymi warstwami. Udowodniono, że MLP z tylko jedną ukrytą warstwą są aproksymatorami funkcji uniwersalnej (Hornik et. al.). Więcej ukrytych warstw może sprawić, że problem będzie łatwiejszy lub trudniejszy. Zazwyczaj musisz wypróbować różne topologie. Słyszałem, że nie możesz dodać dowolnej liczby ukrytych warstw, jeśli chcesz ćwiczyć MLP z backpropem, ponieważ gradient stanie się zbyt mały na pierwszych warstwach (nie mam do tego odniesienia). Ale są pewne aplikacje, w których ludzie używali do nine layers. Być może interesuje Cię standard benchmark problem, który jest rozwiązywany przez różne klasyfikatory i topologie MLP.

Answer 4

Oprócz faktu, że sprawdzanie krzyżowe w różnych konfiguracjach modelu (liczba ukrytych warstw LUB neuronów na warstwę) poprowadzi Cię do wyboru lepszej konfiguracji.

Jedno podejście jest szkolenie modelu, jak duże i głęboko, jak to możliwe i używać przerywania regularyzacji do wyłączyć niektóre neurony i zmniejszyć przeuczenia.

Odniesienie do tego podejścia można zobaczyć w tym dokumencie. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf

Answer 5

Wszystkie powyższe odpowiedzi są oczywiście poprawne, ale tylko dodać jeszcze kilka pomysłów: Pewne ogólne zasady są następujące oparte na tym papierze: „zbliżenia liczby ukrytych neuronów warstwy w stwardnieniu warstwy ukrytej BPNN Architektury” przez Saurabh Karsoliya.

Ogólnie:

• liczby ukrytych neuronach warstw są 2/3 (lub 70% do 90%), wielkości warstwy wejściowego. Jeśli jest to niewystarczające, liczba neuronów warstwy wyjściowej może być później dodana.
• Liczba neuronów ukrytej warstwy powinna być mniejsza niż dwukrotność liczby neuronów w warstwie wejściowej.
• Rozmiar neuronów ukrytej warstwy jest między rozmiarem warstwy wejściowej a rozmiarem warstwy wyjściowej.

Pamiętaj, że musisz odkrywać i wypróbowywać wiele różnych kombinacji. Ponadto, korzystając z opcji GridSearch, można znaleźć "najlepszy model i parametry". Na przykład. możemy wykonać GridSearch, aby określić "najlepszy" rozmiar ukrytej warstwy.