Question

我有3113个训练样例，通过大小为78的密集特征向量。特征的大小是不同的：一些大约20，大约200K。例如，以下是vowpal-wabbit输入格式的培训示例之一。

0.050000 1 '2006-07-10_00:00:00_0.050000| F0:9.670000 F1:0.130000 F2:0.320000 F3:0.570000 F4:9.837000 F5:9.593000 F6:9.238150 F7:9.646667 F8:9.631333 F9:8.338904 F10:9.748000 F11:10.227667 F12:10.253667 F13:9.800000 F14:0.010000 F15:0.030000 F16:-0.270000 F17:10.015000 F18:9.726000 F19:9.367100 F20:9.800000 F21:9.792667 F22:8.457452 F23:9.972000 F24:10.394833 F25:10.412667 F26:9.600000 F27:0.090000 F28:0.230000 F29:0.370000 F30:9.733000 F31:9.413000 F32:9.095150 F33:9.586667 F34:9.466000 F35:8.216658 F36:9.682000 F37:10.048333 F38:10.072000 F39:9.780000 F40:0.020000 F41:-0.060000 F42:-0.560000 F43:9.898000 F44:9.537500 F45:9.213700 F46:9.740000 F47:9.628000 F48:8.327233 F49:9.924000 F50:10.216333 F51:10.226667 F52:127925000.000000 F53:-15198000.000000 F54:-72286000.000000 F55:-196161000.000000 F56:143342800.000000 F57:148948500.000000 F58:118894335.000000 F59:119027666.666667 F60:181170133.333333 F61:89209167.123288 F62:141400600.000000 F63:241658716.666667 F64:199031688.888889 F65:132549.000000 F66:-16597.000000 F67:-77416.000000 F68:-205999.000000 F69:144690.000000 F70:155022.850000 F71:122618.450000 F72:123340.666667 F73:187013.300000 F74:99751.769863 F75:144013.200000 F76:237918.433333 F77:195173.377778

训练结果并不好，所以我认为我会将这些特征标准化，使它们处于相同的幅度。我计算了所有示例中每个要素的均值和标准差，然后执行newValue = (oldValue - mean) / stddev，这样他们的新mean和stddev都是1.对于同一个示例，这里是标准化后的特征值：

0.050000 1 '2006-07-10_00:00:00_0.050000| F0:-0.660690 F1:0.226462 F2:0.383638 F3:0.398393 F4:-0.644898 F5:-0.670712 F6:-0.758233 F7:-0.663447 F8:-0.667865 F9:-0.960165 F10:-0.653406 F11:-0.610559 F12:-0.612965 F13:-0.659234 F14:0.027834 F15:0.038049 F16:-0.201668 F17:-0.638971 F18:-0.668556 F19:-0.754856 F20:-0.659535 F21:-0.663001 F22:-0.953793 F23:-0.642736 F24:-0.606725 F25:-0.609946 F26:-0.657141 F27:0.173106 F28:0.310076 F29:0.295814 F30:-0.644357 F31:-0.678860 F32:-0.764422 F33:-0.658869 F34:-0.674367 F35:-0.968679 F36:-0.649145 F37:-0.616868 F38:-0.619564 F39:-0.649498 F40:0.041261 F41:-0.066987 F42:-0.355693 F43:-0.638604 F44:-0.676379 F45:-0.761250 F46:-0.653962 F47:-0.668194 F48:-0.962591 F49:-0.635441 F50:-0.611600 F51:-0.615670 F52:-0.593324 F53:-0.030322 F54:-0.095290 F55:-0.139602 F56:-0.652741 F57:-0.675629 F58:-0.851058 F59:-0.642028 F60:-0.648002 F61:-0.952896 F62:-0.629172 F63:-0.592340 F64:-0.682273 F65:-0.470121 F66:-0.045396 F67:-0.128265 F68:-0.185295 F69:-0.510251 F70:-0.515335 F71:-0.687727 F72:-0.512749 F73:-0.471032 F74:-0.789335 F75:-0.491188 F76:-0.400105 F77:-0.505242

然而，这产生了基本相同的测试结果（如果不完全相同，因为我在每次训练之前将示例洗牌）。

想知道为什么结果没有变化？

以下是我的培训和测试命令：

rm -f cache
cat input.feat | vw -f model --passes 20 --cache_file cache
cat input.feat | vw -i model -t -p predictions --invert_hash readable_model

（是的，我现在正在对训练数据进行测试，因为我只有很少的数据示例可供训练。）

更多背景信息：

部分功能是＆＃34;第2层和第34层; - 他们是通过在第1层和第3层操纵或做交叉产品而得到的。特征（例如移动平均数，1-3阶导数等）。如果我在计算第2层功能之前对第1层功能进行规范化，那么它实际上会显着改善模型。

所以我很困惑，为什么规范化第1层功能（在生成第2层功能之前）有很大帮助，而规范化所有功能（在生成第2层功能之后）根本没有帮助？

顺便说一句，由于我正在训练一个回归量，我使用SSE作为衡量模型质量的指标。

Answer 1

默认情况下，

vw会对缩放的特征值进行规范化。

这是在线算法的一部分。它在运行时逐步完成。

实际上它不仅如此，vw增强型SGD算法还保持单独的学习速率（每个特征），因此罕见的特征学习速率不会像普通的那样快速衰减（--adaptive）。最后，还有一个重要性感知更新，由第3个选项（--invariant）控制。

3个独立的SGD增强选项（默认情况下均）：

--adaptive
--invariant
--normalized

最后一个选项是调整比例值的选项（折扣大值与小值）。您可以使用选项--sgd禁用所有这些SGD增强功能。您也可以通过明确指定任何子集来部分启用它。

总而言之，您可以使用2^3 = 8个SGD选项组合。

Answer 2

可能的原因是你用来获得结果的训练算法已经为你做了规范化处理！事实上，许多算法在进行规范化之前都会进行规范化处理。希望它可以帮助你：）

为什么规范化特征值不会改变训练输出？

2 个答案: