Spark流使用较少数量的执行程序

Question

我正在使用spark streaming process一些事件。它以独立模式部署，包含1个主服务器和3个工作服务器。我已经将每个执行程序的核心数设置为4，将执行程序的总数设置为24.这意味着将生成总共6个执行程序。我已将展开设定为真。所以每个工人机器都有2个执行器。我的批处理间隔为1秒。此外，我已将批次重新分配为21.其余3个用于接收器。运行我从事件时间线观察到的是，只有3个执行程序被使用。其他3个没有被使用。据我所知，spark独立模式中没有参数来指定执行程序的数量。如何使用所有可用的执行程序？

Answer 1

可能你的流媒体没有那么多分区来填充每1秒小批量的所有执行者。尝试repartition(24)作为第一次流式转换，以使用完整的火花群功率。