AWS GLUE作业延迟

Question

如何在将输出文件上传到S3时减少粘合作业的延迟..我正在尝试将输出文件加载到s3存储桶我的工作需要6分钟才能上传文件，该文件只包含9000条记录 任何人都可以帮我最小化时间

Answer 1

将文件上传到S3或作业的全部时间是6分钟吗？

如果是第二种情况，可能是AWS Glue不是您的解决方案。因为Glue每次在作业运行时都会从头开始设置Spark集群。 您可以尝试将DPU数量减少到最少2个实例。它将减少作业运行时需要部署的计算实例数。