分类器超参数之间的相关性

时间:2017-09-16 05:12:21

标签: machine-learning scikit-learn classification hyperparameters

我想知道两个不同分类器的超参数之间是否存在某种相关性。

例如:我们假设我们在具有最佳超参数的数据集上运行LogisticRegression(通过查找GridSearch)并希望运行另一个分类器,如SVC({{1} } classifier)在相同的数据集上,而不是使用SVM查找所有超参数,我们可以修复一些值(或减少范围以限制GridSearch的超参数的搜索空间)吗?

作为一项实验,我使用GridSearch的分类器,如scikit-learnLogisticRegressionSVSLinearSVCSGDClassifier来分类众所周知的数据集。在某些情况下,我能够凭经验看到一些相关性,但并不总是能够看到所有数据集。

所以请帮我澄清这一点。

1 个答案:

答案 0 :(得分:4)

我认为你不能像这样把不同分类器的不同参数联系在一起。这主要是因为每个分类器的行为都不同,因为它有自己的方式来调整数据沿着它们自己的方程组。例如,假设SVC包含两个不同的内核rbfsigmoid。情况可能是rbf可能完全适合数据,intercept parameter C设置为0.001,而'sigmoid kernel over the same data may fit with C`值为0.00001。两个值也可能相等。但是,你绝对不能这么说。当你说:

  

在某些情况下,我能够凭经验看到一些相关性,但并不总是能够看到所有数据集。

这可能只是巧合。因为这一切都取决于和分类器。你不能全局应用它。相关并不总是等于因果关系

您可以访问this site并亲眼看看虽然不同的回归函数具有相同的参数a,但它们的方程式却大不相同,因此在同一数据集中,您可能会出现{{1 }}