Zastanawiam się: w wielowarstwowej sieci neuronowej z wyprzedzeniem, czy warstwa wejściowa powinna zawierać neuron obciążeniowy, czy to po prostu przydatne w ukrytych warstwach? Jeśli tak, dlaczego?Czy warstwa wejściowa powinna zawierać neuron obciążenia?
Dziękuję
Tunnuz
nie, warstwa wejściowa nie potrzebuje połączenia z neuronu stronniczości, ponieważ każda aktywacja otrzymał od neuronu bias byłby całkowicie przesłonięte przez rzeczywisty wkład.
Na przykład, wyobraźmy sobie sieć, która próbuje rozwiązać klasyczny XOR problem, używając tej architektury (gdzie neuron tylko oznaczoną 1 jest nastawienie):
Aby uruchomić tę sieć na wejściu (1 , 0), po prostu blokujesz aktywację neuronów X1 = 1 i X2 = 0. Teraz, jeśli X1 lub X2 również otrzymały dane wejściowe z błędu, to i tak to zostanie przesłonięte, przez co takie połączenie stanie się bezcelowe.
Przepraszam, że na rysunku neuron obciążenia jest częścią warstwy wejściowej, ponieważ jest przekazywany do ukrytej warstwy, czy jestem w błędzie? – tunnuz
Eh, trochę. Neuron uprzedzeń jest generalnie zawsze przedstawiany jako znajdujący się we własnej warstwie lilów. Myślałem, że twoje pytanie dotyczyło tego, czy PODŁĄCZYĆ jednostkę odchylenia do jednostek w warstwie wejściowej. W obu przypadkach odpowiedź brzmi: nie; zawsze potrzebujesz tylko jednej jednostki odchylenia, która ma stałą aktywację i znajduje się we własnej warstwie. Zasadniczo łączy się ze wszystkimi warstwami, które nie są wejściowe. – zergylord
Aby uzyskać dalsze wyjaśnienia, zobacz to pytanie: http://stackoverflow.com/q/7175099/821806. Nie jest to też moja figura, ale raczej ta, którą uzyskałem stąd: http://home.agh.edu.pl/~vlsi/AI/xor_t/en/main.htm – zergylord