CNTK - 模型的不完整训练

Question

使用CNTK python API我已经训练了一个三层前馈网络来玩一个简单的基于网格的棋盘游戏。如果我使用小板（6 x 6）网格，模型会成功训练。该模型在100场比赛中取得100％的成功。但是，如果我将电路板尺寸增加到21 x 21，那么在100场比赛中，训练似乎会达到约90％的成功。

增加训练时间或更改训练参数似乎不会改善模型的性能。

• 我错过了什么吗？
• CNTK是否支持使用“辍学”？
• 还有其他改进培训的技巧

Answer 1

是支持dropout。目前文档位于此处：

https://cntk.ai/pythondocs/cntk.ops.html?highlight=dropout#cntk.ops.dropout

您使用的是哪种激活功能？如果您使用的是Sigmoids，请尝试ReLUs。如果使用ReLU，由于大的梯度流动，它们可能在训练期间死亡。尝试使用Leaky ReLU或Param ReLU。所有这些都得到了工具包的支持。