Spark只在hdfs中读取

Question

我已经使用HDFS设置了一个Spark集群配置，我知道在HDFS示例中Spark将会读取默认文件路径：

/ad-cpc/2014-11-28/ Spark will read in : hdfs://hmaster155:9000/ad-cpc/2014-11-28/

有时我想知道如何强制Spark在本地读取文件而不重新配置我的集群（不使用hdfs）。

请帮帮我!!!

Answer 1

可以使用前缀 file：///

从Spark引用本地文件系统

Eg: sparkContext.textFile("file:///<<absolute path to file>>")

此命令从本地文件系统读取文件。

注意：如果在多节点群集中执行，则此文件应在所有节点上可用。