Korzystanie ze wstępnie wyszkolonego osadzania słów (word2vec lub Glove) w TensorFlow

Question

Ostatnio dokonałem przeglądu interesującej implementacji dla convolutional text classification. Jednak cały kod TensorFlow Sprawdziliśmy używa losowych (nie wstępnie przeszkolony) osadzanie wektory tak:

with tf.device('/cpu:0'), tf.name_scope("embedding"): 
    W = tf.Variable(
     tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), 
     name="W") 
    self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) 
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) 

Czy ktoś wie, jak wykorzystać wyniki Word2vec lub rękawicy wstępnie przeszkolony słowo zamiast osadzania losowy?

Answer 1

Istnieje kilka sposobów użycia wstępnie wytrenowanego osadzania w TensorFlow. Załóżmy, że masz osadzenie w tablicy NumPy o nazwie embedding, z vocab_size kolumnami i embedding_dim kolumnami i chcesz utworzyć tensor W, który może być użyty w połączeniu z tf.nn.embedding_lookup().

1. Wystarczy utworzyć W jako tf.constant() który zabierze embedding jako jego wartość:

   W = tf.constant(embedding, name="W") 
   

   To najprostszy podejście, ale nie jest to pamięć wydajny, ponieważ wartość tf.constant() są zapisywane wielokrotnie w pamięć. Ponieważ embedding może być bardzo duży, powinieneś używać tego podejścia tylko dla przykładów zabawek.

2. Tworzenie W jako tf.Variable i zainicjować go z tablicy numpy za pośrednictwem tf.placeholder():

   W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]), 
          trainable=False, name="W") 
   
   embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim]) 
   embedding_init = W.assign(embedding_placeholder) 
   
   # ... 
   sess = tf.Session() 
   
   sess.run(embedding_init, feed_dict={embedding_placeholder: embedding}) 
   

   tego uniknąć przechowywania kopii embedding na wykresie, ale wymaga tyle pamięci, aby zachować dwie kopie macierz w pamięci naraz (jeden dla tablicy NumPy, a drugi dla tf.Variable). Zauważ, że założyłem, że chcesz utrzymać stałą matrycy osadzania podczas treningu, więc W jest tworzone z trainable=False.

3. Jeśli osadzanie zostało przeszkolone jako część innego modelu TensorFlow, można użyć wartości tf.train.Saver w celu załadowania wartości z pliku punktu kontrolnego innego modelu. Oznacza to, że macierz osadzania może całkowicie ominąć Python. Tworzenie W jak w wariancie 2, a następnie wykonaj następujące czynności:

   W = tf.Variable(...) 
   
   embedding_saver = tf.train.Saver({"name_of_variable_in_other_model": W}) 
   
   # ... 
   sess = tf.Session() 
   embedding_saver.restore(sess, "checkpoint_filename.ckpt") 
   

Answer 2

użyć tej metody, aby załadować i osadzenie akcji.

W = tf.get_variable(name="W", shape=embedding.shape, initializer=tf.constant_initializer(embedding), trainable=False) 

Answer 3

Odpowiedź @mrry nie jest w porządku, ponieważ provoques nadpisaniu z zanurzeń ciężarami każda sieć jest uruchamiany, więc jeśli są następujące podejście minibatch trenować swoją sieć, została zastąpiona ciężarów embeddings. Tak, na mojego punktu widzenia właściwy sposób wstępnie przeszkoleni zanurzeń jest:

embeddings = tf.get_variable("embeddings", shape=[dim1, dim2], initializer=tf.constant_initializer(np.array(embeddings_matrix))