Question

我有一个非常简单的数据集。我清理了数据（一个热编码，规范化数据并检查缺失值或NaN），我的学习率非常小。但是当尝试使用Keras和Theano作为后端进行简单的逻辑回归时

model = Sequential() 
model.add(Dense(input_dim=84, activation='softmax',
            bias_initializer='normal', units=6)) 
rms = RMSprop(lr=0.001, rho=0.9, epsilon=1e-08, decay=0.0)
model.compile(optimizer=rms, loss='categorical_crossentropy')


batch_size = 100
nb_epoch = 1
n = X.shape[0] # number of training examples
history = model.fit(X, Y_oh, batch_size=batch_size, epochs=nb_epoch)

错误：

Epoch 1/1
5459/5459 [==============================] - 0s - loss: nan

我检查here并尝试将Theano降级为上述版本，但仍然会出现同样的错误

这就是X的样子

[[ 0.35755179  0.13747887  0.3        ...,  0.          0.          0.        ]
 [ 0.36401758  0.14963742  0.55       ...,  0.          0.          0.        ]
 [ 0.37889517  0.13775149  0.275      ...,  0.          0.          0.        ]
 ..., 
 [ 0.34387947  0.18706723  0.05       ...,  0.          0.          0.        ]
 [ 0.35708726  0.12905512  0.75       ...,  0.          0.          0.        ]
 [ 0.37915882  0.08061174  0.05       ...,  0.          1.          0.        ]]

和Y_oh（使用以下代码生成）：

Y_oh = np_utils.to_categorical(Y.T[0],6)

[[ 0.  0.  0.  0.  0.  1.]
 [ 0.  0.  0.  0.  0.  1.]
 [ 0.  0.  0.  0.  0.  1.]
 ..., 
 [ 1.  0.  0.  0.  0.  0.]
 [ 1.  0.  0.  0.  0.  0.]
 [ 1.  0.  0.  0.  0.  0.]]

Answer 1

问题是你在这里激活

model.add(Dense(input_dim=84, activation='softmax',
            bias_initializer='normal', units=6))

为'sigmoid'（或'tanh'）交换'softmax'，你应该很好。

Softmax 具有其输出之和为1 的属性，因此网络的输出具有概率解释。问题是，由于你只有1个输出，它将永远不会训练（因为输出会总是相同的）或得到不合理的渐变试图这样做。

e.g。修复

model.add(Dense(input_dim=84, activation='sigmoid',
            bias_initializer='normal', units=6))

Answer 2

尝试应用Log（0）并查看结果是什么。它是未定义的＆＃34; NAN＆＃34; 我在这里详细回答了这个问题 NAN in neural network

Keras Logistic回归在第一个时期返回nan

2 个答案: