DISTCP到PROXY后面的GCS

Question

我正在尝试使用distcp将某些文件从HDFS复制到Amazon gcs。我的Hadoop集群通过HTTP代理连接到Internet，但是当连接到gcs时我不知道如何指定它。

有关此主题的任何文档吗？

Answer 1

链接到我的问题，但仍然不够：

1. https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.0/bk_cloud-data-access/content/distcp-proxy-settings.html

2. https://github.com/GoogleCloudPlatform/bigdata-interop/commit/bc8f6c6dc9aa7c5586376e830c3dbec0427fa815

第二个链接添加了fs.gs.proxy.address，但与代理用户和密码无关。

Answer 2

如果您的集群已经通过代理连接到Internet，那么如果您安装Cloud Storage connector，则可以连接到GCS。最后，您必须能够执行以下命令：

file1=$(stat -c %Y .bash_profile)
file2=$(stat -c %Y .bashrc)
date_diff=$((( ${file1} - ${file2})/86400 ))
echo "${date_diff}"

希望有帮助！