＆＃34;灵活性＆＃34;的定义是什么？机器学习中的方法？

Question

我想找到＆＃34;灵活性＆＃34;的定义。机器学习方法，就像Lasso，SVM，Least Squares一样。 这里表示了灵活性和可解释性之间的权衡。

我还认为灵活性是一个详细的数字事物。 由于我的声誉，我无法上传图片。如果您想了解一些细节，可以阅读统计学习简介，图片在第25页和第31页。

谢谢。

Answer 1

你可以想到＆＃34;灵活性＆＃34;一个模型作为模型＆＃34;弯曲的＆＃34;绘制模型方程时。据说线性回归是不灵活的。另一方面，如果您有9个训练集，每个训练集各自非常不同，并且您需要更严格的决策边界，则该模型将被视为灵活，仅仅因为模型不能是直线。

当然，有一个基本的假设，即这些模型是训练数据的充分表示（线性表示对于高度分散的数据不起作用，并且锯齿状的多项式表示不适用于训练数据。用直线很好地工作）。

因此，灵活的模型将：

1. 在不同的训练集中很好地概括
   • 以更高的差异为代价。这就是灵活模型通常与低偏差相关的原因
2. 随着复杂程度的提高和/或数据点数的增加（达到一定程度，它不会表现得更好），效果会更好。

Answer 2

对方法的灵活性没有严格的定义。前面提到的那本书说

  

我们可以尝试通过选择灵活的模型来解决这个问题，这些模型可以适用于f的许多不同的可能的功能形式。

从这个意义上说，最小二乘法不太灵活，因为它是一个线性模型。相反，内核SVM没有这种限制，可以模拟花哨的非线性函数。

灵活性不是用数字来衡量的，书中的图片仅显示关系数据，而不是2D平面上的实际点。

Answer 3

灵活性描述了增加模型可用自由度以“适合”训练数据的能力。