Question

我学习机器学习，我看到一些材料表明MLP（多层感知器）可能会卡在局部最小值。我想通过做一些实验来学习，但我在网上搜索具体的例子但是找不到任何实验。谁能告诉我在哪里找到可以由我复制的例子？

Answer 1

您可以使用随机梯度下降通过反向传播简单地构建XOR神经网络。为此实验生成数据集的一种非常简单的方法可以是：

X = [[randint(0, 1), randint(0, 1)] for _ in range(1000)]
y = []
for a, b in X:
    if a + b == 1:
        y.append([0, 1])
    else:
        y.append([1, 0])
X = np.array(X)
y = np.array(y)

您可能会发现此SO帖子（XOR neural network error stops decreasing during training）很有用，因为它与您的查询相关。

其他人：如果您熟悉torch，那么您可以查看此github repository以获取全面的示例。您可以按照火炬中描述的here生成实验数据集。如果你不熟悉火炬但有兴趣学习，你可以考虑通过这个post。

有用的教程：（1）The XOR problem and solution

MLP的当地本地最小值是否有任何具体的例子？

1 个答案: