执行scala脚本时，输入文件或路径不存在

Question

我刚开始学习Spark / Scala，这是我第一次练习时遇到的令人困惑的问题：

1. 我在/ etc / spark / bin
中创建了一个测试文件：input.txt
2. 我创建了一个RDD
3. 我开始计算字数但收到错误Input path does not exist

以下是截图：



为什么scala没有提取input.txt？如果它与权限相关，则该文件由root创建，但我也在root下运行Spark / Scala。

非常感谢。

Answer 1

Spark从hdfs读取文件。复制它：

hadoop fs -put /etc/spark/bin/input.txt /hdfs/path

如果它本地安装文件将被移动到hadoop文件夹。