带有S3终端节点和存储桶策略的AWS Glue

时间:2020-03-25 14:20:08

标签: aws-glue

我的电流S3和胶水如下所示。

在VPC中部署的S3端点 S3存储桶具有存储桶策略,仅允许来自端点的流量。 GLUE IAM角色,可以访问所述存储桶。

当我运行AWS Glue爬网程序作业时,出现错误“用户无权访问S3存储桶” 我尝试提供对S3存储桶的IAM用户ID访问。我在S3存储桶策略中添加了IAM角色和IAM ID。但是错误仍然存​​在。

当我删除存储桶策略并且即使IAM用户ID无法访问存储桶时,搜寻器作业也会成功。

每个AWS文档AWS Glue使用S3终端节点。如果可以,为什么我会收到此错误?

1 个答案:

答案 0 :(得分:0)

我最近在配置 Glue Crawler 的角色以访问由同一用户创建的先前创建的 S3 存储桶时也遇到了此问题。我遇到的问题是,虽然我确实为存储桶 arn:aws:s3:::<bucket>/* 的内容设置了资源权限,但我没有为存储桶本身设置权限 arn:aws:s3:::<bucket>

我使用 AWS CDK 作为示例,但我认为很容易理解我在下面代码中的意思:

new iam.PolicyStatement({
  effect: iam.Effect.ALLOW,
  resources: [
    `arn:aws:s3:::${bucketName}`,
    `arn:aws:s3:::${bucketName}/*`,
  ],
  actions: ["s3:*"],
}),