短语“机器学习算法学习概率分布”是什么意思？到底发生了什么？

Question

生成和判别模型似乎学习条件P（x | y）和联合P（x，y）概率分布。但在基础层面上，我无法通过学习概率分布来说服自己意味着什么。

Answer 1

这意味着您的模型要么作为您的训练样本的分布估算器，要么使用该估算器执行其他预测。

举一个简单的例子，考虑一组观察{x[1], ..., x[N]}。我们假设你要训练一个高斯估计器。从这些样本中，该高斯估计量的最大似然参数将是数据的均值和方差

Mean = 1/N * (x[1] + ... + x[N])

Variance = 1/(N-1) * ((x[1] - Mean)^2 + ... + (x[N] - Mean)^2)

现在你有一个能够从你的训练样本的分布（估计）中产生新样本的模型。

更复杂一点，你可以考虑像高斯混合模型。这同样可以根据您的数据推断出模型的最佳拟合参数。除此之外，该模型由多个高斯组成。因此，如果给出一些测试数据，则可以根据每个高斯分量对观察点的概率密度的相对贡献，概率性地为每个样本分配类别。这当然是机器学习的基本假设：你的训练和测试数据都来自同一个分布（你应该检查的东西）。