Rozwiązywanie problemów z pamięcią w sieci o wielu masach

Question

Mam sieć neuronową z architekturą 1024, 512, 256, 1 (warstwa wejściowa ma jednostki 1024, warstwa wyjściowa ma jednostkę 1 itd.). Chciałbym wyszkolić tę sieć za pomocą jednego z algorytmów optymalizacji w scipy.optimize.

Problem polega na tym, że algorytmy te oczekują podania parametrów funkcji w jednym wektorze; Oznacza to, że w moim przypadku, muszę rozwinąć wszystkie ciężary w wektorze długości

1024*512 + 512*256 + 256*1 = 655616 

Niektóre algorytmy (jak fmin_bfgs) trzeba użyć macierzy tożsamości, a więc wykonać połączenie jak

I = numpy.eye(655616) 

co, niezbyt zaskakująco, produkuje MemoryError. Czy jest jakiś sposób, aby uniknąć konieczności rozwijania wszystkich wag w jednym wektorze, skoro nie dostosowuję algorytmów do moich własnych potrzeb?

Answer 1

Myślę, że mapowanie pamięci z rozwiązaniem problemu. Sugeruję użycie numpy.memmap, która jest zoptymalizowana pod kątem numpy tablic. Pamiętaj, że chociaż mapowanie pamięci może być szybkie, powinieneś mieć oko na thrashing.

Dla ogólnej kultury, moduł mmap jest bardziej uniwersalną biblioteką mapowania pamięci, która jest zawarta w bibliotece standardowej.

Answer 2

Nie należy próbować dopasowywać ciężarów do NN za pomocą L-BFGS. Nie działa to szczególnie dobrze (patrz wczesne prace Yann LeCun), a ponieważ jest to metoda drugiego rzędu, będziesz starał się zbliżyć do heskiego, który dla tej liczby wag jest macierzą 655,000 x 650,000: to wprowadza ogólne obciążenie, które po prostu nie będzie uzasadnione.

Sieć nie jest głęboka: czy istnieje powód, dla którego unikasz standardowego back-propu? Jest to po prostu pochylenie gradientowe, jeśli masz dostęp do implementacji biblioteki, gradienty są tanie do obliczenia, a ponieważ jest to tylko metoda pierwszego rzędu, nie będziesz mieć takiej samej wydajności.

Edycja:

Backpropogation oznacza, że ​​zasada aktualizacji dla w_i kroku t wynosi:

w_i (t) = w_i (f-1) - \ alfa (dError/dw_i)

Ponadto znalazłeś przyczynę, dla której ludzie w wizji często używają Convolutional NNs: rzadka łączność znacząco zmniejsza rozmiar wektora wagowego, w którym masz jeden neuron na piksel.