标签: hadoop apache-spark yarn spark-streaming
我可以在一个队列中运行多个作业(MapReduce,Hive)。但是如果我运行Spark / Spark Streaming作业,那么之后添加的每个作业都将处于ACCEPTED状态,但不会运行。只有在我杀死Spark工作之后,另一份工作才会运行。
我尝试为Spark和非Spark作业创建一个不同的队列,它们按预期工作,但这不是我想要的。
我的问题: 1.这是YARN还是Spark配置问题? 2.解决该问题的正确配置是什么?
任何帮助将不胜感激,谢谢。