Question

我正在使用AWS Glue作为ETL作业来转换S3中的数据，并使用书签将其写入另一个S3存储桶。

我在计划的作业上收到此意外异常，该作业一直运行到前一天没有任何问题：

Traceback (most recent call last):
  File "my_script.py", line 123, in <module>
job.commit()

[...]

py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.commit.
: com.amazonaws.services.gluejobexecutor.model.InternalServiceException: Item size to update has exceeded the maximum allowed size 
(Service: AmazonDynamoDBv2; Status Code: 400; Error Code: ValidationException; Request ID: /) 
(Service: AWSGlueJobExecutor; Status Code: 500; Error Code: InternalServiceException; Request ID: /)

我在错误消息中看到提到了Dynamo DB，但是我根本没有使用此服务（因此我怀疑它在Glue内部使用）。

是什么导致此异常？

Answer 1

我从Glue控制台重置作业书签，问题得以解决，成功执行了作业

com.amazonaws.services.gluejobexecutor.model.InternalServiceException：要更新的项目大小已超过允许的最大大小

1 个答案: