由于无法从S3下载脚本而导致胶水作业失败

时间:2020-06-18 11:35:58

标签: amazon-s3 amazon-iam aws-glue

我正在创建一个AWS Glue ETL流程,以将CSV数据从S3提取到AWS Aurora数据库中。

我已经成功地为源文件和目标DB表创建并运行搜寻器。我还创建了ETL作业,执行了映射并保存了自动生成的脚本。所有(S3,DB,胶水)都位于同一区域。

运行ETL作业时,它会错误并显示以下消息

fatal error: Connect timeout on endpoint URL: <REDACTED>
Error downloading script: fatal error: Connect timeout on endpoint URL: <REDACTED>

在Cloudwatch日志中,我有2条相关消息:

Specifying us-west-2 while copying script. 
S3 copy with region specified failed. Falling back to not specifying region. 

我尝试了以下操作:

  • 经过验证的IAM角色有权访问S3
  • 已授予对脚本文件和.temp文件的完全访问权限(公共,读写);我认为这不是必需的,但本着排除事物的精神...
  • EC2上的入站和出站均已通过SSL验证(端口443)。

感谢其他任何想法或解决方案!

1 个答案:

答案 0 :(得分:1)

我认为您用来启动Glue作业的VPC缺少S3端点。由于流量不会离开AWS network,因此您的Glue作业的VPC内部将无法访问互联网。因此,如果要连接到S3,则需要将其添加到VPC。

请参阅this以了解更多信息,并请参阅this以确保您正确配置了安全组