神经网络是否真的放弃了软件？

Question

我打算使用神经网络来近似强化学习算法中的值函数。我想这样做是为了介绍我如何表示状态和行为的一些概括和灵活性。

现在，我认为神经网络是正确的工具，但是由于我不是AI专家，因此我的可见度有限。特别是，近来神经网络似乎被其他技术所取代，例如支持向量机，但我不确定这是时尚问题，还是神经网络中有一些真正的限制可能会影响我的方法。你有什么建议吗？

谢谢，
Tunnuz

Answer 1

神经网络不再像以前那样流行，但它们几乎不会死亡。他们失宠的一般原因是Support Vector Machine的崛起，因为它们全球汇聚并需要更少的参数规范。

然而，SVM实施起来很麻烦，并且不像ANN那样自然地推广到强化学习（SVM主要用于离线决策问题）。

如果您的任务看起来合适，我建议您坚持人工神经网络，因为在强化学习领域，人工神经网络仍然处于绩效的最前沿。

Here's a great place to start;只需查看标题为“时间差异学习”的部分，因为这是人工神经网络解决强化学习问题的标准方法。

但有一点需要注意：机器学习的最新趋势是通过bagging or boosting一起使用许多不同的学习代理。虽然我没有在强化学习中看到这一点，但我确信使用这种策略仍然比单独的ANN更强大。但除非你真的需要世界级的表现（这是赢得netflix比赛的原因），否则我将避开这种极其复杂的技术。

Answer 2

在我看来，神经网络正在卷土重来。例如，今年there were a bunch of papers at ICML 2011 on neural networks。我绝对不会认为他们放弃了软件。话虽如此，我不会用它们进行强化学习。

Answer 3

神经网络是近似复杂函数的一种不错的通用方法，但它们很少是任何特定学习任务的最佳选择。它们难以设计，收敛速度慢，并且陷入局部最小值。

如果您没有使用神经网络的经验，那么您可能会更乐意使用更简单的推广RL的方法，例如粗略编码。

Answer 4

理论上已经证明，神经网络可以近似任何函数（给定无限数量的隐藏神经元和必要的输入），所以不，我不认为神经网络将永远是放弃软件。

SVM很棒，但它们不能用于所有应用程序，而神经网络可用于任何目的。

将神经网络与强化学习相结合是标准且众所周知的，但要小心绘制和调试神经网络的收敛性，以检查它是否正常工作，因为众所周知神经网络难以实现和正确学习。

对你给神经网络的问题（即：输入节点）的表示也要非常小心：你可以，或者可以由专家解决问题，因为你给出了作为网络输入的内容？很多时候，实现神经网络的人没有给神经网络提供足够的信息来推理，这并不是那么罕见，所以要小心。