如何使用Spark和Winutils在Windows中访问文件?

时间:2019-05-20 18:15:52

标签: apache-spark

我正在使用winutils在Windows上运行spark。 在Spark Shell中尝试加载CSV文件,但提示Path does not exist,即我在 E:/data.csv 位置有一个文件。
我正在执行:

scala> val df = spark.read.option("header","true").csv("E:\\data.csv")

错误:

org.apache.spark.sql.AnalysisException: Path does not exist: file:/E:/data.csv;
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:558)

我不知道为什么要添加“ / E:” ,而应该只是 E:
我应该如何访问该文件?

1 个答案:

答案 0 :(得分:0)

就我而言,我可以读取以下文件 val input = spark.sqlContext.read.format(“ com.databricks.spark.csv”)。option(“ header”,“ true”)       .option(“ delimiter”,“;”)。option(“ quoteAll”,“ true”)。option(“ inferSchema”,“ false”)。load(“ C:/Work/test.csv”)。toDF( )