Question

我试图为一个简单的三层神经网络找到最佳数量的神经元。为此，我将训练/测试拆分的随机状态保持固定，并在中间层的神经元数量上进行迭代。

我有6个参数，这些参数用于使用三层-输入（6个神经元），隐藏（i个神经元）和输出（1个神经元）来预测第7个参数。

但是，每次运行它时，我都会得到完全不同的答案，这些答案不一致，这使我对“最佳”中间层数没有任何答案。

我使用的是相对较小的数据集-100个样本。网络是否因随机权重/偏见而启动？还是我还缺少其他东西？对于tensorflow / keras学习者的任何帮助都将是一个巨大的帮助！

results = []
for i in range(1,10):
    x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.2, random_state = 45)
    model = Sequential()
    model.add(Dense(6,input_dim = x.shape[1], activation = "relu"))
    model.add(Dense(i,activation = "relu"))
    model.add(Dense(1))
    model.compile(loss = "mean_squared_error", optimizer = "adam")
    monitor = EarlyStopping(monitor = "val_loss", min_delta = 1e-3, patience= 9000, verbose = 0, mode="auto")

    model.fit(x,y,validation_data = (x_test,y_test), callbacks = [monitor], verbose= 0, epochs = 1000)

    pred = model.predict(x_test)
    score = np.sqrt(metrics.mean_squared_error(pred,y_test))
    print ("Score (RMSE): {}".format(score))
    results.append(score)

如果有帮助，这是我每次运行可获得的结果范围（我认为这会有些相似）：

hidden_layers = [1,2,3,4,5,6,7,8,9]
Run1 = [1.8300211429595947, 0.7832328081130981,1.144912600517273,1.17598557472229,1.9758267402648926,0.49578756,
        0.6556473970413208,0.696390688419342,0.5946451425552368]
Run2 = [1.422674,1.566674,1.91101,0.86435,1.229273,0.94930,0.7424377,1.2183,0.85622]
Run3 = [1.4056072,1.790036,0.55659616,1.5427451,1.8569565,0.54280525,0.69169235,0.72319275,0.48972014]
Run4 = [0.78299254,1.6193594,0.90550566,1.1891861,0.87066174,0.9133969,1.6031398,0.59118015,0.42699912]
Run5 = [1.842247,1.5956467,1.0008113,0.95922214,2.015607,1.5420123,0.5894643,0.65639037,1.9998837]

Answer 1

此事件可以在任何神经网络项目中发生。当您使用相同的输入和相同数量的神经元运行模型时，您将获得不同的性能。

此事件的主要原因是Python中的随机数生成器。

如果要为每次模拟运行提供相同的结果，则必须设置随机数生成器的种子。

例如：

random.seed(5)

在我的一个项目中，我使用以下命令：

random.seed(np.abs(noise_ratio*100))

它可以包含您代码的变量。

因此，如果我想更正您的代码：

results = []
for i in range(1,10):
    random.seed(10)
    x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.2, random_state = 45)
    model = Sequential()
    model.add(Dense(6,input_dim = x.shape[1], activation = "relu"))
    model.add(Dense(i,activation = "relu"))
    model.add(Dense(1))
    model.compile(loss = "mean_squared_error", optimizer = "adam")
    monitor = EarlyStopping(monitor = "val_loss", min_delta = 1e-3, patience= 9000, verbose = 0, mode="auto")

    model.fit(x,y,validation_data = (x_test,y_test), callbacks = [monitor], verbose= 0, epochs = 1000)

    pred = model.predict(x_test)
    score = np.sqrt(metrics.mean_squared_error(pred,y_test))
    print ("Score (RMSE): {}".format(score))
    results.append(score)

除此解决方案外，一些研究人员还认为您必须使用k倍或十次运行代码，并将结果的平均值作为最终结果。我建议第二种方式。

编写一个循环10次，并将结果的平均值作为最终结果。

测试最佳神经元数量-Keras / Tensorflow

1 个答案: