distcp是否固有地使用SSL / TLS将文件传输到AWS S3

时间:2016-02-17 22:29:55

标签: hadoop amazon-web-services amazon-s3

我正在使用distcp命令将文件从本地Hadoop集群传输到Amazon S3。这是我正在使用的命令:

hadoop distcp -D mapred.job.queue.name="somename" -Dfs.s3n.awsAccessKeyId="xxxx" -Dfs.s3n.awsSecretAccessKey="xxxx" -m "100" -update -pugp "hdfs:///path-in-hdfs" "s3n://path-to-s3"

此命令会使用SSL传输数据吗?

1 个答案:

答案 0 :(得分:0)

我相信s3n正在使用jets3t库。该文件说:

  

<强> s3service.https仅
  如果为true,则与S3的所有通信都将通过加密的HTTPS连接进行,否则将通过HTTP发送未加密的通信   默认值:true

因此默认情况下它听起来像https。