想象一下,您有一个关于回归问题的深层神经网络来预测一个人的体重。您的神经网络如下所示:
Dense(112, activation='relu')
Dense(512, activation='relu)
Dropout(0.5)
Dense(1, activation='relu')
现在在训练期间,假设50%的节点对应于大约30到100的输出,具体取决于输入。现在,在测试期间,当不发生丢失时,大约30到100的输出将不会翻倍,因为以前,当只有50%的节点处于活动状态时,这50%的节点正在将一些值传递给输出节点,因此获得大约30到100的输出,现在在测试期间,当所有节点都处于活动状态时,所有节点都将一些值传递给输出节点。因此,如果100%的节点处于活动状态,那么如果50%的节点的输出约为30到100,那么在测试过程中该值是否不会加倍?
答案 0 :(得分:0)
正如史努比博士所说,在评论中,该辍学具有一项功能(乘以p),可以防止出现我要问的问题。
如果一个单位以p的概率保留,那么在测试时,该单位的所有正在进行的权重将首先乘以p。
因此,在预测我在问题中提到的权重的情况下,辍学层之后所有正在进行的权重将首先乘以p(在这种情况下为0.5),从而使测试输出与训练输出相同,大约为30到100,并解决问题!