spark.python.worker.memory如何与spark.executor.memory相关？

Question

This diagram非常清楚不同的YARN和Spark内存相关设置之间的关系，除了涉及spark.python.worker.memory。

spark.python.worker.memory如何适应这种记忆模型？

Python流程是由spark.executor.memory还是yarn.nodemanager.resource.memory-mb？

管理的

更新

This question解释了设置的作用，但没有回答有关内存管理的问题，或者它与其他内存设置的关系。

Answer 1

来自Apache-spark邮件列表的

Found this thread，看起来spark.python.worker.memory是来自spark.executor.memory的内存的子集。

来自主题：＆＃34; spark.python.worker.memory用于执行者中的Python工作者＆＃34;