使用distcp将数据从HDFS安全地传输到amazon S3

Question

我们希望将Cloudera Hadoop集群中的HDFS数据备份到Amazon S3。看起来我们可以使用distcp，但不清楚的是数据是否通过加密传输复制到S3。

是否需要配置某些功能才能启用此功能？

Answer 1

我不认为在Hadoop中可以使用S3客户端加密。

似乎S3 server side encryption（在S3＆＃39; s结束时加密数据）可以从Hadoop 2.5.0进行配置。

要启用它，请在core-site.xml中添加以下属性：

<property>
  <name>fs.s3n.server-side-encryption-algorithm</name>
  <value> AES256 </value>
  <description>
    Specify a server-side encryption algorithm for S3.
    The default is NULL, and the only other currently allowable value is AES256.
  </description>
</property>

有关S3服务器端加密的更多信息Hadoop-10568。