逻辑回归中的负对数似然维度

Question

（输入降价的更好方法是什么？）

我开始尝试学习正则化的多类逻辑回归分类器是如何工作的，但我仍然坚持第一步。 $ m $类及其梯度的逻辑回归的负对数似然函数由下式给出：

如果我有一个大小为800K x 50的特征矩阵$ \ bf X $，$ \ bf W $的维度是什么，$ \ bf w_ {k} $，$ \ bf x_ {j} $，$ n $和$ m $相等？

我认为$ m = 50 $，$ n = 800K $，$ \ bf W $也是800K x 50矩阵，$ \ bf w_ {k} $是一列$ \ bf W $大小为800K x 1，$ \ bf x_ {j} $是一行$ \ bf X $，大小为50 x 1。但显然我错了，因为如果这些向量长度不等，我就不能使用点积$ \ bf w_ {k} ^ {T} \ bf x_ {j} $。我误解了哪些部分？

Answer 1

您有n=500k个样本，每个样本由50个功能表示。因此，功能的数量为50.您的问题中没有提到类m的数量（它不是50）。 $ \ bf W $是权重矩阵，可以看作是50 x m矩阵。 $ \ bf w_ {k} $是一个$ \ bf W $的列，它是一个大小为50 x 1的向量。关于x你是对的：$ \ bf x_ {j} $是一行$ \ bf尺寸为50 x 1的X $。