如何使用Pyspark / Dataproc监视jvm堆大小

Question

我注意到我的pyspark代码导致内存错误。使用VirtualVM，我注意到堆大小在执行程序内存上增加的地方，并更改了代码。现在，我正在尝试使用更大的数据和在dataproc中部署代码，我发现很难找到一种监视堆大小的好方法。有什么好的方法可以监视运行时堆大小吗？我认为如果可以通过py4j或任何其他库打印出运行时堆大小，那将是最简单的。