如何从hdfs到s3运行加密的distcp？

Question

我喜欢将数据从我们的hadoop集群（内部部署）复制到s3。我可以不加密地做。我也可以使用客户端加密运行s3cmd put。如何使用客户端加密进行distcp？

Answer 1

最近的Hadoop版本应该使用客户端加密进行传输。

为了安全起见并且不会成为您设置细节的牺牲品，我会通过制定类似下面的存储桶策略来确保安全传输，禁止非安全传输。

{
    "Statement":[
        {
            "Action": "s3:*",
            "Effect":"Deny",
            "Principal": "*",
            "Resource":"arn:aws:s3:::bucketname/*",
            "Condition":{
                "Bool":
                { "aws:SecureTransport": false }
            }
        }
    ]
}