我想确保我的spark作业不会占用超过我通过的内存，比方说，根据我的理解，关闭动态分配（spark.dynamicAllocation.enabled = false）后，该作业可以使用的最大内存为400GB，并且传递--num-executors --executor-memory --driver-memory是否在Cloudera堆栈中完成工作？如果有错，请更正。
我还必须设置其他任何设置以确保火花作业不会超出限制。
答案 0 :(得分：0)
在我的工作中找到了一个解决方案 Cloudera 集群有一个特殊的纱线参数，它不会让作业超过必须关闭或重置它的特定限制。
https://community.cloudera.com/t5/Support-Questions/Yarn-memory-allocation-utilization/td-p/216290