能量函数和损失函数有什么区别？

Question

在论文A Tutorial on Energy Based Learning中，我看到了两个定义：

• 能量函数E(X, Y)通过推理过程最小化：目标是找到Y的这样的值，使E(X, Y)取得的值最小。
• 损失函数是使用训练集衡量能量函数的质量。

我理解损失函数的含义（很好的例子是均方误差）。但是你能解释一下能量函数和损失函数之间的区别吗？你能给我一个ML或DL能量函数的例子吗？

Answer 1

简而言之，能量函数描述了您的问题。相比之下，损失函数只是ML算法用作输入的东西。这可能是相同的功能，但不一定是这种情况。

物理系统的能量可能是该系统内部的运动。在ML上下文中，您可能希望通过调整参数来最小化移动。然后，实现此目的的一种方法是使用能量函数作为损失函数并直接最小化该函数。在其他情况下，此功能可能不容易评估或区分，然后其他功能可能会用作ML算法的损失。与分类中类似，您关心分类器的准确性，但仍然使用softmax上的交叉熵作为损失函数而不是准确度。