无法从HDFS读取文件

Question

我正在尝试从HDFS读取文件。我使用以下代码：

val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)

我收到以下错误：

java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000

我在我的文件路径中添加URI时引用了这个问题：
Cannot Read a file from HDFS using Spark

但由于上述错误，我仍然无法读取文件。我该如何解决这个问题？

Answer 1

您可以检查在系统中添加winutils.exe并为其设置环境变量。 Spark需要winutils.exe来执行hdfs操作。

Answer 2

尝试使用IP而不是localhost