火花cassandra集群中的自动缩放，零停机时间

Question

如何根据工作负载动态添加或删除spark cassandra集群资源（工作程序，执行程序，内核，内存等）？我们可以在部署之前预测集群资源吗？在缩小/从群集中删除节点时可以对数据做些什么。

Answer 1

Spark支持动态分配具有大量配置选项的worker，请参阅https://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

简短版本：

• 当任务队列已满时，Spark可以分配新的执行程序
• Spark会在执行者闲置一段时间后解除分配
• 将为执行程序分配启动时设置的核心/内存量，因此明智地选择
• 缓存将受到动态分配的影响（主要是执行者被解除分配）