SparkContext textFile的InputPath语法

时间:2014-02-04 05:46:58

标签: scala hadoop apache-spark

请告诉我如何使用 SparkContext 指定textFile()的输入路径。像下面这对我不起作用。

sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")

在此,54310是core-site.xml

中指定的端口号

1 个答案:

答案 0 :(得分:0)

只是一个简单的错误。我们在Spark Context

中加载的文件需要扩展

sc.textFile(hdfs:// localhost:54310 / home / myFiles / sampleFile.txt“)