进化计算能否成为强化学习的一种方法？

Question

什么是进化计算？这是强化学习的方法吗？还是单独的机器学习方法？或许没有？

请引用用于回答此问题的参考文献。

Answer 1

有一些进化方法明确旨在解决强化学习问题。子字段通常以学习分类系统（LCS）或偶尔基于遗传学的机器学习（GBML）为名。

除此之外，我不确定你的问题是否有明确定义的答案。它基本归结为“什么是机器学习？”我们都没有就如何回答这个问题达成一致意见。对于某些人来说，EC可能是该子域的一部分。对于其他人，事实并非如此。我刚从架子上抽取了一些ML教科书，其中大约一半包含了关于进化方法的材料。我怀疑15年前这个比例会更高，但时尚会发生变化，机器学习现在几乎是统计学的一个子领域。 EC方法不能很好地适应这种模式。

Answer 2

进化计算或进化算法是优化算法，当应用于神经网络时（如在神经演化中），当然可以归类为强化学习的一种形式，尽管它与通常的强化有点不同学习算法。

通常，在遗传算法或进化策略等进化算法中，您需要对整个群体进行优化。对于这些个体中的每一个，使用质量函数来确定它们的“适应性”（如“适者生存”），并且为下一代选择最佳个体。那些“父母”随后被随机复制，修改，变异，甚至彼此重新组合 - 在不同的算法中，这样做的确有些不同。最后，那些新的突变和/或重组的亲本形成下一代的群体，并且该过程再次开始，直到达到一些期望的质量，或质量水平。

在神经进化的情况下，个体是神经网络，通过随机改变的权重进行突变（而在经典神经网络中，权重根据非常精确的数学规则进行更新）或甚至改变其拓扑结构和质量个人的数量取决于他们对训练数据的表现。

对不起，这里没有硬性的科学参考，但也许这仍然有助于清理一些事情。

Answer 3

强化学习[1]和进化计算[2]之间的主要区别在于原始意义上的RL应用于环境中的代理，学习策略（另请参阅维基百科关于reinforcement learning的文章）虽然EC是一类搜索算法的更通用的术语，它使用“进化”启发的方法来优化搜索。我根本不会将EC归类为机器学习，而且我还没有找到可用的源。

[1]强化学习：介绍 - RS Sutton，AG Barto - 1998 - 剑桥大学出版社

[2]什么是进化计算？ - DB Fogel - Spectrum，IEEE，2000

Answer 4

2017年更新：答案是肯定的。 most downloaded paper over the past month in Reinforcement Learning，恰当地命名为“进化策略作为强化学习的可扩展替代方案”确实是该镇的话题。

Answer 5

  

那么，进化计算在哪里？这是强化学习的方法吗？还是单独的机器学习方法？或者没有？

我认为EC和ML彼此不同。但是，有一些很棒的应用程序可以与它们结合使用。虽然这已经是一个很小的研究领域已经有一段时间了，但我觉得在EC和ML的结合方面有一些悬而未决的成果。我认为很多人没有耐心看到这些想法。