永远通过VM Cloudera上的Spark Submit运行Spark Scala作业

时间:2016-11-25 12:57:03

标签: apache-spark submit

我在互联网上使用了以下方法:

spark-submit  --class buri.sparkour.SBuildingSBT  target/scala-2.10/buildingsbt_2.10-1.0.jar

在quickstart.cloudera VM上提交一个简单的作业,它可以并行化RDD并尝试另存为文本文件。

它开始很好,但我得到如下的消息,它似乎永远不会终止。会发生什么事?

16/11/25 04:45:15 INFO yarn.Client: Application report for application_1480066509330_0004 (state: ACCEPTED)

1 个答案:

答案 0 :(得分:0)

在内核和内存上添加了一些参数然后运行,但需要一段时间