本地火花群的sparkcontext

Question

有人可以这么好，并告诉我如何在以下代码中调整hdfs URI，以便它们能够对付我的本地spark'集群'吗？

var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt");  
// some more code
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");  

Answer 1

你可以定义路径位置配置参数将在sparkcontext上设置，所以不需要像下面那样添加hdfs就可以在纱线模式下运行应用程序

 target 'Name Of Your Extension' do
         pod  'Alamofire'
 end

或者您可以明确定义hdfs位置，如下所示

var lines = sparkContext.TextFile("/path/to/input.txt");  
// some more code
wordCounts.SaveAsTextFile("/path/to/wordcount.txt");  

您还可以定义可选的分区数

val lines =  sparkContext.textFile("hdfs://namenode:port/path/to/input.txt")