在CDH 5.16.2集群中启用了S3Guard,但仍然看到S3最终的一致性问题

时间:2020-07-07 15:27:20

标签: amazon-web-services apache-spark amazon-s3 hive amazon-dynamodb

由于最终的一致性问题,我们在向S3写入数据时遇到了问题。后来发现S3Guard有助于解决此问题。

我们已经在集群中启用了S3Guard,但是仍然看到作业失败。

我已经在DynamoDB中验证了数据,它肯定会写入数据,而且我还看到我们也读取了DynamoDB。

我是否可以知道CDH群集中是否有一种方法可以使日志测试每个请求是否通过DynamoDB并记录DynamoDB写入/读取的状态?如果有启用日志记录的方法,我可以知道如何启用日志记录并检查日志吗?

请注意,我们已经使用基于IAM角色的身份验证将S3Guard添加到了群集中,并且所有需要访问的IAM角色也只为我们的主角色添加了S3connectivity。

enter image description here

0 个答案:

没有答案