可能性是在整个训练集还是单个例子中计算的？

Question

假设我有(x, y)对的训练集，其中x是输入示例，y是相应的目标，y是值{{1} }（(1 ... k)是类的数量。）

在计算训练集的可能性时，是否应计算整个训练集（所有示例），即：

k

或者是针对特定培训示例计算的可能性L = P(y | x) = p(y1 | x1) * p(y2 | x2) * ... ？

我问，因为我看到了这些lecture notes（第2页），他似乎在计算L_i，这是每个训练例子的可能性。

Answer 1

似然函数描述了在给定一些参数的情况下生成一组训练数据的概率，并且可用于找到以最大概率生成训练数据的那些参数。您可以为训练数据的子集创建似然函数，但这不能代表整个数据的可能性。然而，你可以做什么（以及在讲义中显然默默地做了什么）是假设你的数据是independent and identically distributed (iid)。因此，您可以将联合概率函数拆分为较小的部分，即p(x|theta) = p(x1|theta) * p(x2|theta) * ...（基于独立性假设），并且您可以对这些部分中的每一部分使用具有相同参数（theta）的相同函数，例如，正态分布（基于相同假设）。然后，您可以使用对数将乘积转换为总和，即p(x|theta) = p(x1|theta) + p(x2|theta) + ...。通过将其导数设置为零，可以最大化该函数。得到的最大值是theta，它以最大概率创建你的x，即你的最大似然估计。