训练期间约束神经网络

时间:2020-03-06 22:00:03

标签: constraints pytorch loss-function

我有简单的“类似于图像”的对象,其中包含有关真实图像的非线性编码信息。除了两个像素的浮点值总和为1之外,每个真实图像均为零。

我在pytorch中创建了一个简单的神经网络,并开始使用1000个“类似图像”的对象进行训练。它在没有任何约束的情况下工作(两个浮动像素的总和为1,其余为零),但效果不是很好。最终,损失函数和学习率在约200个纪元后触底。所以我想我会尝试使用这些约束。

我首先尝试使用神经网络的正向方法进行此操作。我并不乐观,但还是尝试了一下,因为它很容易。这次尝试并没有令人失望,这确实很糟糕。

很显然,我必须在损失函数中采用拉格朗日乘数约束。我见过许多有关如何创建自定义损失函数的Web文章,但是我不知道如何在其中实现此类约束。任何帮助将不胜感激。

Q'apla!

0 个答案:

没有答案