Keras - Jak skonstruować współużytkowaną warstwę osadzania() dla każdego Input-Neuron

Question

Chcę stworzyć głęboką sieć neuronową w keras, gdzie każdy element warstwy wejściowej jest "zakodowany" przy użyciu tego samego, współdzielonego osadzania() - warstwa, zanim zostanie wprowadzona do głębszych warstw.

Każde wejście będzie liczbą określającą typ obiektu, a sieć powinna nauczyć się osadzania, które zawiera pewną wewnętrzną reprezentację "tego, czym jest ten obiekt".

Tak więc, jeśli warstwa wejściowa ma wymiar X, a osadzenie ma wymiary Y, pierwsza ukryta warstwa powinna składać się z neuronów X * Y (każdy wbudowany neuron wejściowy).

Here is a little image that should show the network architecture that I would like to create, where each input-element is encoded using a 3D-Embedding

Jak mogę to zrobić?

Answer 1

from keras.layers import Input, Embedding 

first_input = Input(shape = (your_shape_tuple)) 
second_input = Input(shape = (your_shape_tuple)) 
... 

embedding_layer = Embedding(embedding_size) 

first_input_encoded = embedding_layer(first_input) 
second_input_encoded = embedding_layer(second_input) 
... 

Rest of the model.... 

Obiekt emnedding_layer będzie mieć wspólne wagi. Możesz to zrobić w postaci list warstw, jeśli masz dużo danych wejściowych.

Jeśli to, co chcesz przekształca tensora wejść, tak, aby to zrobić jest:

from keras.layers import Input, Embedding 

# If your inputs are all fed in one numpy array : 
input_layer = Input(shape = (num_input_indices,)) 

# the output of this layer will be a 2D tensor of shape (num_input_indices, embedding_size) 
embedded_input = Embedding(embedding_size)(input_layer) 

Czy to, czego szukałeś?