来自local的Spark读取文件给出了InvalidInputException

时间:2018-03-14 19:02:26

标签: scala apache-spark

在OSX High Sierra上使用Homebrew安装的Spark 2.2.0。我进入了spark-shell并试图读取一个像这样的本地文件:

val lines = sc.textFile("file:///Users/username/Documents/Notes/sampleFile")
val llist = lines.collect()

这给了我:

    org.apache.hadoop.mapred.InvalidInputException: 
Input path does not exist: file:/Users/bsj625/Documents/Notes/sampleFile

我尝试了很多变种,file:/file://。我也尝试在本地模式下运行spark-shell,如下所示:

spark-shell --master local

但我仍然遇到同样的错误。我需要设置任何环境变量吗?任何帮助表示赞赏。

0 个答案:

没有答案