AWS Glue中的错误：下载脚本错误

Question

在运行aws胶工作时间歇性地出现以下错误，

错误下载脚本：致命错误：调用HeadObject操作时发生错误（404）：

Answer 1

不确定为什么会断断续续，但这可能是连接到S3的问题。要检查的几件事：

• 胶水作业以IAM role运行。您可以检查作业详细信息以查看当前设置。您应该确保该角色有权访问其中包含您的工作代码的S3存储桶。
• 胶水作业需要VPC endpoint。您应检查并确保已为正在使用的VPC正确创建了一个
• 可以配置VPC端点而不将其与任何子网相关联。检查您的VPC端点是否有正确的路由。

如果有帮助，下面是一些用AWS CDK编写的参考代码

IAM角色

new iam.Role(this, `GlueJobRole`, {
  assumedBy: new iam.ServicePrincipal(`glue.amazonaws.com`),
  managedPolicies: [
    iam.ManagedPolicy.fromAwsManagedPolicyName(
      `service-role/AWSGlueServiceRole`
    ),
  ],
});

VPC端点

const vpc = ec2.Vpc.fromLookup(this, `VPC`, { vpcId: VPC_ID });

new ec2.GatewayVpcEndpoint(this, `S3VpcEndpoint`, {
  service: ec2.GatewayVpcEndpointAwsService.S3,
  subnets: vpc.publicSubnets,
  vpc,
});