为什么我们需要正规化来训练MaxEnt？

Question

我正在阅读jurafsky的NLP书，它提到训练MaxEnt我们需要调整权重以防止过度拟合。但我不明白为什么会这样。 如果我们不使用正则化，任何人都可以解释在训练期间如何发生过度拟合吗？

Answer 1

我没有看过那本书，但作为机器学习的实践者，我可以告诉你，任何类型的模型都可能过度拟合。 MaxEnt不会例外。

你可能应该问的问题是，“什么是过度拟合，是什么导致它？”

退房：Distinguishing overfitting vs good prediction

当您尝试估计系数时，过度拟合往往会发生，或者更常见的是，考虑到您正在使用的训练数据量，模型过于灵活。结果是您的模型将“学习”数据中的噪声，从而降低样本的预测准确度。

有两种方法可以解决过度拟合问题。要么（1）获得更多的训练数据，要么（2）降低模型的复杂性。正则化属于类别（2），并且通过惩罚“复杂”解决方案起作用，从而减少方差。 “复杂”的含义因型号而异。

在网上和介绍ML教科书中有大量关于过度拟合和正规化的材料。如果您想要一个易于理解的解释，我建议您使用Abu-Mostafa的数据学习。