spark_sklearn GridSearchCV __init__因参数错误而失败

Question

我正在尝试使用spark_sklearn.GridSearchCV，但是 init 参数错误。

TypeError: __init__() takes at least 4 arguments (4 given)

这是代码：

from spark_sklearn import GridSearchCV

gsearch2 = GridSearchCV(estimator=ensemble.GradientBoostingRegressor(**params), param_grid=param_test2, n_jobs=1)

如果我向GridSearchCV提供更多参数，例如添加cv=5，则错误将变为

TypeError: __init__() takes at least 4 arguments (5 given)

有什么建议吗？

感谢。

Answer 1

GridSearchCV.__init__需要3 obligatory arguments：

• sc - SparkContext。
• estimator
• param_grid。

您忘记了SparkContext：

GridSearchCV(
    sc=SparkContext.getOrCreate(),
    estimator=ensemble.GradientBoostingRegressor(**params), 
    param_grid=param_test2, n_jobs=1)