标签： apache-spark apache-spark-sql google-cloud-dataproc spark-structured-streaming
如何在数据中心群集中运行多个火花流工作？我使用capacity-scheduler.xml创建了多个队列，但是现在我需要12个队列，如果我想运行12个不同的流 - 聚合应用程序。任何的想法？
capacity-scheduler.xml
答案 0 :(得分：0)
Dataproc 1.2图像在容量调度程序中启用了公平模式，它可以在没有队列开销的情况下执行您想要的操作[1] [2]。
[1] https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_yarn_resource_mgt/content/flexible_scheduling_policies.html
[2] https://community.hortonworks.com/questions/19342/yarn-fair-sharing-ordering-policy-for-capacity-sch.html