AWS Glue java.lang.OutOfMemoryError：Java堆空间

Question

我们正在尝试将AWS Glue用于我们的ETL流程。运行AWS Glue作业流程时因内存不足错误而被终止。

LogType:stdout
Log Upload Time:Mon Jan 08 20:35:34 +0000 2018
LogLength:129
Log Contents:
#
# java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="kill -9 %p"
# Executing /bin/sh -c "kill -9 6635"...
End of LogType:stdout

我不确定我是否可以在AWS Glue中设置Java堆大小。

谢谢， 哈里什

Answer 1

这是由于源代码中的循环引用JSON文档引起的。