在我的公司，我们使用新旧机器的组合拼凑了一个异构的YARN + Spark集群。由于各台机器的统计数据差异很大，我希望能够在较大的机器上启动多个执行器。将--num-executors设置为高于群集中的计算机数量不起作用。是否有其他设置需要更改以启用此功能，或者它是否可能无法实现？
答案 0 :(得分：0)
传递--executor-cores选项。这应该是〜4表现良好： http://www.datarpm.com/resources/achieving-optimal-performance-with-apache-spark1-5/
这将在4核机器上启动一个执行程序，在4核机器上启动4个执行程序。