我一直在考虑如何根据其资源利用率缩小Spark集群,并发现
https://databricks.com/blog/2018/05/02/introducing-databricks-optimized-auto-scaling.html
说
在缩减过程中,Databricks服务仅在以下情况下删除工作程序: 处于空闲状态,并且不包含任何正在由 运行查询。因此,正在运行的作业和查询不受影响 缩小比例时
这听起来很合理。但是,Spark是否具有任何API来告知节点是否“包含任何随机数据”?