我试图在CentOs上以独立模式运行spark,并尝试使用
从本地文件系统读取文本文件scala > var text = sc.textFile("/home/Documents/test.txt")
但它给出了异常 -
引起:java.net.ConnectException:连接被拒绝。
但是当我将代码更改为:
scala > var text = sc.textFile("file:///home/Documents/test.txt")
我能读懂它 我的问题是:
当尝试读取没有file:///的文件时,是否在HDFS文件系统中查找文件?然后是的,那么HDFS是默认FS哪里有火花搜索文件?