如何知道Spark工作者或执行者是否包含随机数据

时间:2019-03-07 07:15:12

标签: apache-spark pyspark apache-spark-sql shuffle autoscaling

我一直在考虑如何根据其资源利用率缩小Spark集群,并发现

https://databricks.com/blog/2018/05/02/introducing-databricks-optimized-auto-scaling.html

  

在缩减过程中,Databricks服务仅在以下情况下删除工作程序:   处于空闲状态,并且不包含任何正在由   运行查询。因此,正在运行的作业和查询不受影响   缩小比例时

这听起来很合理。但是,Spark是否具有任何API来告知节点是否“包含任何随机数据”?

0 个答案:

没有答案