如何使随机梯度下降最终不会杀死所有的砝码

Question

据我所知，随机梯度下降的实现方式如下：

激活网络，读取输出神经元，与所需输出进行比较，计算权重的导数，更新权重，并使用新示例进行激活。

但是，假设我有以下数据集：

[
  { input: [0, 0], output: [0] },
  { input: [0, 1], output: [0] },
  { input: [1, 0], output: [0] },
  { input: [1, 1], output: [1] },
]

因此，如果我在4种情况中的3种情况下更新权重以减少输出神经元的输出，最终，随着时间的推移，我将设置权重以使输出为0或接近输出。

哪种机制可以确保如果两个输入神经元都被1激活，我将得到1的输出？

Answer 1

我不确定是否有这样做的方法。但是，当您有一个需要执行分类任务的数据集时，一个很好的做法是确保数据集中的类几乎均匀分布。