关于Spark Scala ML API的模型训练结果

Question

我是 spark scala ML包的新手。

组装管道并将一些回归模型拟合到训练数据集后（使用命令：val model = pipeline.fit(training)），如何检查/打印拟合的模型详细信息：系数，统计， R2 等？

类似于R语言中的“ summary(model)”吗？

谢谢！

Answer 1

您可以做的是，找到适当的阶段，然后查看其内容：

val pipelineModel: PipelineModel = pipelineData.fit(data)
val transformedColumns = pipelineModel.stages
val lda = transformedColumns(9).asInstanceOf[LDAModel]
// 9 is the index of the stage in the pipeline. If you just have a single stage, it would be zero then

在上述情况下，一旦拥有LDAModel，您现在就可以查看统计信息。

LDAModel只是一个例子。假设您的管道阶段为CountVectorizer，请使用CountVectorizerModel。如果您使用IDF，请使用IDFModel。