Spark管道拟合错误,无法找到路径

时间:2019-02-27 07:20:11

标签: scala apache-spark pipeline

我在Win10中具有spark 2.4.0和scala 2.11.12。使用spark-shell我加载了一个csv文件

import java.io._
import java.io.{File, PrintWriter}
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.feature.{IndexToString, StringIndexer, VectorIndexer}

val data=spark.read.format("csv").option("delimiter",",").option("header","true").option("inferSchema","true").load("E:\\...\\adult3.csv")

enter image description here

然后我尝试将其放入下面的管道中,但只有一个错误

val stages = Array(
  new StringIndexer().setInputCol("AAC").setOutputCol("AAC_"),
  new StringIndexer().setInputCol("AAE").setOutputCol("AAE_"),
  new StringIndexer().setInputCol("AAG").setOutputCol("AAG_"),
  new StringIndexer().setInputCol("AAH").setOutputCol("AAH_"),
  new StringIndexer().setInputCol("AAI").setOutputCol("AAI_"),
  new StringIndexer().setInputCol("AAJ").setOutputCol("AAJ_"),
  new StringIndexer().setInputCol("AAK").setOutputCol("AAK_"),
  new StringIndexer().setInputCol("AAO").setOutputCol("AAO_"))

val model=new Pipeline().setStages(stages).fit(data)

enter image description here

中文部分说“系统无法找到路径”。确实,我找不到路。我想念什么吗?

0 个答案:

没有答案