火花执行器之间任务分配不均

Question

我正在生产中使用Spark-streaming 2.2.1，在此应用程序中，我从RabbitMQ中读取了数据并进行了进一步处理，最后将其保存在cassandra中。因此，我面临着一个奇怪的问题，即在一个节点上的执行程序之间，任务数量没有平均分配。我重新启动了流式传输，但是仍然存在问题。

您在10.10.4.72上看到，我有2个执行者。在 41893 端口上运行的端口已完成大约将其余节点（10.10.3.73和10.10.3.72）上的任务数量增加一倍。在10.10.4.72的 33451 端口上运行的执行程序仅完成了18个任务。即使我重新启动火花流，此问题仍然存在。

编辑问题 您仍然可以在下图中看到12小时后，在同一时间内，相同的执行者甚至没有执行任何任务。