如何执行保存在文本文件中的spark scala脚本

时间:2018-05-24 07:06:37

标签: scala apache-spark

我在文本文件中写了字数scala-script并将其保存在主目录中。 如何调用并执行脚本文件“wordcount.txt”?

如果我尝试命令:spark-submit wordcount.txt,它就无效了。

“wordcount.txt”文件的内容 -

val text = sc.textFile("/data/mr/wordcount/big.txt");
val counts = text.flatMap(line => line.split(" ").map(word => (word.toLowerCase(),1)).reduceByKey(+).sortBy(_._2,false).saveAsTextFile(“count_output”);

0 个答案:

没有答案