由于最终的一致性问题,我们在向S3写入数据时遇到了问题。后来发现S3Guard
有助于解决此问题。
我们已经在集群中启用了S3Guard,但是仍然看到作业失败。
我已经在DynamoDB中验证了数据,它肯定会写入数据,而且我还看到我们也读取了DynamoDB。
我是否可以知道CDH群集中是否有一种方法可以使日志测试每个请求是否通过DynamoDB并记录DynamoDB写入/读取的状态?如果有启用日志记录的方法,我可以知道如何启用日志记录并检查日志吗?
请注意,我们已经使用基于IAM角色的身份验证将S3Guard添加到了群集中,并且所有需要访问的IAM角色也只为我们的主角色添加了S3connectivity。