Question

我正在对数据集的某些超参数进行交叉验证。

lr = LogisticRegression()
paramGrid = ParamGridBuilder() \
    .addGrid(lr.regParam, [0, 0.01, 0.05, 0.1, 0.5, 1]) \
    .addGrid(lr.elasticNetParam, [0.0, 0.1, 0.5, 0.8, 1]) \
    .build()
evaluator = BinaryClassificationEvaluator()
cv = CrossValidator(estimator=lr, estimatorParamMaps=grid, evaluator=evaluator)

我想知道 regParam 和 elasticNetParam 的最佳价值。在python中，我们可以选择在交叉验证后获取最佳参数。 pyspark中是否有任何方法可以在交叉验证后获得最佳参数值？

For example : regParam - 0.05 
              elasticNetParam - 0.1

Answer 1

好吧，您必须先安装CrossValidator：

cv_model = cv.fit(train_data)

完成此操作后，将在以下位置具有best_model：

best_model = cv_model.bestModel

要提取参数，您将不得不执行以下操作：

best_reg_param = best_model._java_obj.getRegParam()
best_elasticnet_param = best_model._java_obj.getElasticNetParam()

Answer 2

假设您已使用以下参数构建了逻辑回归模型。

lr = LogisticRegression()
paramGrid = ParamGridBuilder() \
    .addGrid(lr.regParam, [0, 0.01, 0.05, 0.1, 0.5, 1]) \
    .addGrid(lr.elasticNetParam, [0.0, 0.1, 0.5, 0.8, 1]) \
    .build()
cv = CrossValidator(estimator=lr, estimatorParamMaps=grid, evaluator=evaluator)
cv_model = cv.fit(train_data)

您可以使用以下代码提取最佳模型参数：

print(cv_model.getEstimatorParamMaps()[np.argmax(cv_model.avgMetrics)])

在Pyspark中进行交叉验证后如何获得最佳超参数值？

2 个答案: