Jak rozwiązać problem strat nan?

Question

Problem

biegnę Deep Neural Network na MNIST gdzie strata zdefiniowana następująco:

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, label))

program wydaje się działać poprawnie, dopóki nie dostanę stratę nan w 10000+ th minibatch. Czasami program działa poprawnie, aż do zakończenia. Myślę, że tf.nn.softmax_cross_entropy_with_logits daje mi ten błąd. To dziwne, ponieważ kod zawiera tylko operacje mul i add.

Możliwe rozwiązanie

Może używać:

if cost == "nan": 
    optimizer = an empty optimizer 
else: 
    ... 
    optimizer = real optimizer 

Ale nie mogę znaleźć typ nan. Jak mogę sprawdzić zmienną jest nan czy nie?

Jak inaczej mogę rozwiązać ten problem?

Answer 1

Nie mam twojego kodu ani danych. Ale tf.nn.softmax_cross_entropy_with_logits powinien być stabilny z prawidłowym rozkładem prawdopodobieństwa (więcej informacji here). Zakładam, że twoje dane nie spełniają tego wymogu. Podobny problem omówiono również pod adresem here. Które doprowadziłoby Cię do:

1. Wprowadź w życie własną funkcję softmax_cross_entropy_with_logits, np. spróbuj (source):

   epsilon = tf.constant(value=0.00001, shape=shape) 
   logits = logits + epsilon 
   softmax = tf.nn.softmax(logits) 
   cross_entropy = -tf.reduce_sum(labels * tf.log(softmax), reduction_indices=[1]) 
   

2. zaktualizować swoje dane w taki sposób, że ma ważny rozkład prawdopodobieństwa

Answer 2

Sprawdź swoją szybkość uczenia się. Im większa twoja sieć, więcej parametrów do nauki. Oznacza to, że musisz także zmniejszyć wskaźnik uczenia się.

Answer 3

Powód, dla którego otrzymujesz NaN jest najbardziej prawdopodobne, że gdzieś w funkcji kosztowej lub softmax próbujesz wziąć dziennik zero, który nie jest liczbą. Ale aby odpowiedzieć na twoje konkretne pytanie dotyczące wykrywania NaN, Python ma wbudowaną możliwość testowania NaN w module matematycznym. Na przykład:

import math 
val = float('nan') 
val 
if math.isnan(val): 
    print('Detected NaN') 
    import pdb; pdb.set_trace() # Break into debugger to look around 

Answer 4

znajdę podobny problem tutaj TensorFlow cross_entropy NaN problem

Dzięki autora user1111929

tf.nn.softmax_cross_entropy_with_logits => -tf.reduce_sum(y_*tf.log(y_conv)) 

jest rzeczywiście straszny sposób obliczania entropii krzyżowej. W niektórych próbach niektóre klasy mogły zostać po pewnym czasie wykluczone, co skutkowało Y_conv = 0 dla tej próbki. Zwykle nie stanowi to problemu, ponieważ nie jesteś nimi zainteresowany, ale w sposobie, w jaki jest tam zapisana wartość cross_entropy, daje 0 * log (0) dla tej konkretnej próbki/klasy. Stąd NaN.

zastępując ją

cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv + 1e-10)) 

Albo

cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y_conv,1e-10,1.0))) 

rozwiązano problemu nan.