Sieć neuronowa 0 kontra -1

Question

Widziałem kilka razy osób korzystających z -1 w przeciwieństwie do 0 podczas pracy z sieciami neuronowymi dla danych wejściowych. W jaki sposób jest to lepsze i czy wpływa to na matematykę, aby go zrealizować?

Edit: Korzystanie feedforward i powrót prop

Edycja 2: dałem mu szansę, ale sieć przestała uczenia więc zakładam, że matematyka będzie musiał zmienić gdzieś?

Edytuj 3: Wreszcie znalazłem odpowiedź. Matematyka dla binarnej różni się od dwubiegunowej. Zobacz moją odpowiedź poniżej.

Answer 1

Niedawno odkryto, że sigmoidalna i sigmoidalna formuła pochodna musi zostać zmieniona, jeśli używa się bipolarnego nad binarnym.

Bipolar Sigmoid Funkcja: f(x) = -1 + 2/(1 + e^-x)

Bipolar Sigmoid Pochodna: f’(x) = 0.5 * (1 + f(x)) * (1 – f(x))

Answer 2

To był czas długi, ale jak pamiętam, nie ma to wpływu na matematykę potrzebną do wdrożenia sieci (zakładając, że nie pracujesz z typem sieci, który z jakiegoś powodu ogranicza jakąkolwiek część procesu do wartości nieujemnych). Jedną z zalet jest to, że wprowadza większe rozróżnienie między wejściami i pomaga wzmocnić sygnał uczenia się. Podobnie dla wyników.

Ktoś, kto zrobił to niedawno, prawdopodobnie ma więcej do powiedzenia (na przykład, czy przejście 0 ma znaczenie, myślę, że tak). W rzeczywistości niektóre z nich zależą od tego, jakiego rodzaju sieci neuronowej używasz. Zakładam, że mówisz o backpropie lub jego wariancie.

Answer 3

Sieć szybko uczy się przy użyciu -1/1 wejść w porównaniu do 0/1. Ponadto, jeśli używasz -1/1 wejść, 0 oznacza "nieznany wpis/szum/nie ma znaczenia". Użyłbym -1/1 jako wejścia mojej sieci neuronowej.