Question

我在Python v2.7（Tensorflow后端）中使用Keras v2.0.8来创建计算简单算术函数（加，减，乘等）的小型神经网络，并且有点困惑。下面的代码是我的网络，它生成一个带有相应标签的整数的随机训练数据集（两个输入加在一起）：

def create_data(low, high, examples):

    train_data = []
    label_data = []

    a = np.random.randint(low=low, high=high, size=examples, dtype='int')
    b = np.random.randint(low=low, high=high, size=examples, dtype='int')

    for i in range(0, examples):
        train_data.append([a[i], b[i]])
        label_data.append((a[i] + b[i]))

    train_data = np.array(train_data)
    label_data = np.array(label_data)

    return train_data, label_data

X, y = create_data(0, 500, 10000)

model = Sequential()
model.add(Dense(3, input_dim=2))
model.add(Dense(5, activation='relu'))
model.add(Dense(3, activation='relu'))
model.add(Dense(5, activation='relu'))
model.add(Dense(1, activation='relu'))

model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])
model.fit(X, y, epochs=10, batch_size=10)

test_data, _ = create_data(0, 500, 10)
results = model.predict(test_data, batch_size=2)

sq_error = []
for i in range(0, len(test_data)):
    print 'test value:', test_data[i], 'result:', results[i][0], 'error:',\
          '%.2f' %(results[i][0] - (test_data[i][0] + test_data[i][1]))
    sq_error.append((results[i][0] - (test_data[i][0] + test_data[i][1])))

print '\n total rmse error: ', sqrt(np.sum(np.array(sq_error)))

这种训练非常好，并没有产生意想不到的结果。但是，当我通过将两个输入相乘来创建训练数据时，每个时期的模型损失大约为7,000,000,000，模型根本不会收敛。数据创建功能如下：

def create_data(low, high, examples):

    train_data = []
    label_data = []

    a = np.random.randint(low=low, high=high, size=examples, dtype='int')
    b = np.random.randint(low=low, high=high, size=examples, dtype='int')

    for i in range(0, examples):
        train_data.append([a[i], b[i]])
        label_data.append((a[i] * b[i]))

    train_data = np.array(train_data)
    label_data = np.array(label_data)

    return train_data, label_data

当我训练单个输入整数的数据并通过平方输入数据创建标签时，我也遇到了同样的问题。但是，当我只将单个输入乘以一个常数值或加上/减去一个常数时，它工作正常。

我有两个问题：

1）为什么会这样？我认为它与神经网络的基本原理有关，但我无法解决这个问题。

2）我如何调整此代码来训练将两个输入数字相乘的模型。

网络架构（2 - 3 - 5 - 3 - 5 - 1）现在相当随机。我已经尝试了许多不同的层和神经元，这个恰好在我写的时候出现在我的屏幕上，并且在添加两个输入时得到了100％的准确度。

Answer 1

这是由于训练数据中的大量数字导致的大梯度更新。使用神经网络时，首先应确保训练数据属于小范围（通常为[-1,1]或[0,1]），以帮助优化过程并防止破坏性梯度更新。因此，您应该首先规范化数据。在这种情况下，一个好的候选人将是log-normalization。

顺便说一句，如果我错了，请纠正我：我认为'accuracy'作为keras中的指标用于分类问题？在回归问题中，更好的选择是＆＃34;意味着绝对错误＆＃34;或'mae'。

在keras中创建神经网络以乘以两个输入整数

1 个答案: