从管道获取转换后的数据框

Question

我有一个包含VectorAssembler，StringIndexer和KMeans阶段的管道，如下所示：

val pipeline = new Pipeline().setStages(string_indexer :+ assembler :+ kmeans)

假设使用以下命令安装管道：

val model = pipeline.fit(df)

使用df和KMeans转换df后，如何访问StringIndexer使用过的数据框VectorAssembler？ （即我想要StringIndexer和VectorAssembler生成的最终数据框）

Answer 1

您应该使用transform方法将DataFrame转换为您的模型：

val newDF = model.transform(df)

新的DataFrame，newDF，将包含代码中生成的所有列