辍学层不会破坏网络吗?

时间:2020-08-01 13:47:06

标签: machine-learning deep-learning dropout

想象一下,您有一个关于回归问题的深层神经网络来预测一个人的体重。您的神经网络如下所示:

Dense(112, activation='relu')
Dense(512, activation='relu)
Dropout(0.5)
Dense(1, activation='relu')

现在在训练期间,假设50%的节点对应于大约30到100的输出,具体取决于输入。现在,在测试期间,当不发生丢失时,大约30到100的输出将不会翻倍,因为以前,当只有50%的节点处于活动状态时,这50%的节点正在将一些值传递给输出节点,因此获得大约30到100的输出,现在在测试期间,当所有节点都处于活动状态时,所有节点都将一些值传递给输出节点。因此,如果100%的节点处于活动状态,那么如果50%的节点的输出约为30到100,那么在测试过程中该值是否不会加倍?

1 个答案:

答案 0 :(得分:0)

正如史努比博士所说,在评论中,该辍学具有一项功能(乘以p),可以防止出现我要问的问题。

如果一个单位以p的概率保留,那么在测试时,该单位的所有正在进行的权重将首先乘以p。

因此,在预测我在问题中提到的权重的情况下,辍学层之后所有正在进行的权重将首先乘以p(在这种情况下为0.5),从而使测试输出与训练输出相同,大约为30到100,并解决问题!