AWS Glue在运行作业时返回错误

时间:2018-01-12 12:28:15

标签: amazon-web-services amazon-redshift etl aws-glue

我想从存储在aws redshift上的数据生成镶木地板文件格式,我已经创建了连接和爬虫以获取数据信息。所有数据库目录都已成功获取,但在运行作业以获取表数据时,生成镶木地板文件并将其存储到aws s3,AWS Glue给出了以下错误:

反向dns解析ip" someIp address"失败

但是,我可以使用源数据存储和目标数据存储成功生成具有AWS S3的镶木地板文件。只有当我使用我的红移群集作为源数据存储并将S3用作目标数据存储时,才会生成错误。

我知道该错误与Route53服务无关,它为我显示错误。 我还检查了我的安全组。它还允许VPC中的所有入口流量。 我还检查过S3存储桶和Redshift在同一区域。 子网也是正确的。

需要帮助。 提前致谢。

3 个答案:

答案 0 :(得分:1)

您需要为红移子网中的所有IP创建反向DNS记录。

答案 1 :(得分:1)

您应该启用DNS主机名和解析。

转到您的VPC>选择你的VPC>点击动作>点击编辑DNS解析>点击是>点击保存

与上面类似,为您的VPC启用DNS主机名

  

点击操作>点击编辑DNS主机名>点击是>点击保存

答案 2 :(得分:0)

尝试为所有DNS UDP设置粘合连接的SG出口规则。协议UDP,端口53。