Jak szybkie są techniki Deep Learning (DNN, DBN, ...) w praktyce?

Question

Techniki głębokiego uczenia się (Deep Neural Network, Deep Belief Network, Deep Stacking Networks ...) są bardzo wydajne w niektórych obszarach. Trenowanie zajmuje bardzo dużo czasu, ale jest to koszt jednorazowy.

Przeczytałem kilka artykułów na temat różnych technik i skupiały się one wyłącznie na dokładności i czasie ich wyszkolenia. Jak szybko mają wytworzyć odpowiedź w praktyce, po przeszkoleniu?

Czy są dostępne dane na temat analizy porównawczej głębokich sieci z być może milionami parametrów?

Myślę, że są one dość szybkie, ponieważ wszystkie wagi są ustalone, ale ponieważ funkcje mogą być dość skomplikowane, a liczba parametrów dość wysoka, nie jestem pewien, jak naprawdę działają w praktyce.

Answer 1

Prędkość zależy w dużym stopniu od wielkości sieci. Zakładając, że twoja sieć jest gęstą siecią Feed Forward, każda warstwa sieci jest reprezentowana przez (zazwyczaj bardzo prostokątną) matrycę. Przesyłanie danych wejściowych przez sieć wymaga produktu wektorowego macierzy. Więc jeśli masz sieć z 8 warstwami, zajmie Ci to 8 produktów macierzy. Długość każdego z tych zadań zależy od oryginalnego wymiaru zestawu danych i rozmiaru wspomnianych warstw.