避免过度利用集群

Question

给定默认的DataProc集群，是否有任何配置可以避免在YARN端执行太多任务而使作业队列过载？

例如，如果出现作业高峰，是否有办法强制集群遵守并发性，以使整个作业高峰不会耗尽/崩溃YARN主节点？

Answer 1

正如Google的@ igor-dvorzhak所述，解决方法是https://stackoverflow.com/a/49693693/1195652

参考：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.3/bk_system-admin-guide/content/setting_application_limits.html