写入Hive时出现Spark Dataframe OOM错误

Question

我有一个用于将Spark数据帧数据放入Hive的应用程序。

第一次，应用程序使用100个内核和10 GB内存，在泄漏了大量32 Mb块后产生OutOfMemory错误。

之后我运行100核和20GB内存的应用程序获得不同的泄漏大小（64 Mb），然后出现相同的OutOfMemory错误：

任何人都可以帮我理解这种行为吗？