我正在使用winutils
在Windows上运行spark。
在Spark Shell中尝试加载CSV文件,但提示Path does not exist
,即我在 E:/data.csv 位置有一个文件。
我正在执行:
scala> val df = spark.read.option("header","true").csv("E:\\data.csv")
错误:
org.apache.spark.sql.AnalysisException: Path does not exist: file:/E:/data.csv;
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:558)
我不知道为什么要添加“ / E:” ,而应该只是 E:
我应该如何访问该文件?
答案 0 :(得分:0)
就我而言,我可以读取以下文件 val input = spark.sqlContext.read.format(“ com.databricks.spark.csv”)。option(“ header”,“ true”) .option(“ delimiter”,“;”)。option(“ quoteAll”,“ true”)。option(“ inferSchema”,“ false”)。load(“ C:/Work/test.csv”)。toDF( )