您好我正在尝试使用cp命令将S3存储桶中的文件复制到HDFS中。 我做的事情 Hadoop --config config fs -cp s3a：//路径hadooppath 当我的配置在我的本地时，这很有效。 但是现在我正试图将其设置为oozie工作。所以当我现在无法传递本地系统中config目录中的配置文件时。即使它在HDFS中，它仍然似乎无法工作。有什么建议吗？
我在Hadoop中尝试了-D命令并传递了名称和值对，但仍然会引发一些错误。它仅适用于我的本地系统。
答案 0 :(得分：0)
您是否在oozie中尝试 DISTCP ？ Hadoop 2.7.2将支持S3数据源。您可以通过协调员安排它。只需将凭据解析为协调器RESTAPI或属性文件。它可以方便地定期复制数据（计划方式）。
${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/