如何训练神经网络来玩2048游戏？

Question

我想训练神经网络来玩2048游戏。我知道NN对于像2048这样的状态游戏来说不是一个很好的选择，但是我想要实现NN将像有经验的人一样玩游戏，即仅在三个方向上移动游戏。

但我无法弄清楚如何自我训练NN，因为我们不知道有效的输出。通常，例如在回归中，您知道正确的输出，您可以计算损失（例如均方误差）并更新权重。但是在2048年，有效输出基本上是未知的（当然你可以计算你可以移动的每个方向的分数，例如，差异最大的方向score_after_move - previous_score将是我们的有效输出，但我认为这是不是自学NN的方式）。那么有可能为2048游戏定义损失函数吗？最好的是一个可以区分的。

接下来的问题是何时更新权重：每次移动后或者更确切地说是完成游戏后（游戏结束）？

如果它很重要：我的NN拓扑现在很简单：

2D matrix of gaming board -> 2D matrix of input neurons -> 2D fully-connected hidden layer -> 1D 4-neuron layer

因此每个图块将被输入到第一层中的相应神经元（2D全连接图层是否有任何特殊名称？）。来自最后一层的预期输出是长度为4的向量，例如， [1,0,0,0]将是＆＃34; up＆＃34;运动方向。

现在我已经为2048游戏实现了无头类（在Python / NumPy中），因为使用视觉输入很慢并且还有更多工作要做。

P.S。也许我正在考虑NN学习这个游戏（或一般游戏）。随意向我展示一个更好的方式，我会很感激。谢谢:)）

编辑：强化学习似乎就是这样。以下是一些有用的链接：

Demystifying Deep Reinforcement Learning

Action-Value Methods and n-armed bandit problems

Q-learning for Keras

Deep Reinforcement Learning for Keras

Answer 1

所以https://github.com/matthiasplappert/keras-rl似乎是最好的方法。您只能实现OpenAI Gym环境API定义的少数方法。这些是step()和reset()方法：https://github.com/matthiasplappert/keras-rl/blob/master/rl/core.py#L330

有关详细信息，请keras-rl开发人员给出答案：https://github.com/matthiasplappert/keras-rl/issues/38

当我的2048游戏AI项目完成后，我将链接发送到此处（如果我不会忘记这样做:)）

编辑：这是承诺的源代码链接，完全忘了它：/ https://github.com/gorgitko/MI-MVI_2016