迭代Spark程序以加载历史记录

Question

我有一个火花工作，正在循环以加载历史记录。循环运行时，它将在第3次迭代中失败。我是否需要做任何事情才能在每次运行后释放所有资源。

#
# java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="kill -9 %p"
#   Executing /bin/sh -c "kill -9 84587"...