YARN队列无法运行多个Spark任务

时间:2015-11-25 16:35:03

标签: hadoop apache-spark yarn spark-streaming

我可以在一个队列中运行多个作业(MapReduce,Hive)。但是如果我运行Spark / Spark Streaming作业,那么之后添加的每个作业都将处于ACCEPTED状态,但不会运行。只有在我杀死Spark工作之后,另一份工作才会运行。

我尝试为Spark和非Spark作业创建一个不同的队列,它们按预期工作,但这不是我想要的。

我的问题: 1.这是YARN还是Spark配置问题? 2.解决该问题的正确配置是什么?

任何帮助将不胜感激,谢谢。

0 个答案:

没有答案