distcp:如果在hdfs到s3复制中只有一个文件,如何避免展平dir

时间:2016-01-28 22:57:42

标签: amazon-web-services amazon-s3 hdfs distcp

目前我的hdfs结构是:

/数据/ XXX / XXX / 2014

/数据/ XXX / XXX / 2015

/数据/ XXX / XXX / 2016

2015年有两个文件,2016年有两个,2014年只有一个文件

我使用此命令单独复制它们:

hadoop distcp -Dfs.s3n.awsAccessKeyId =" mykey" -Dfs.s3n.awsSecretAccessKey =" mysecret" / data / xxx / xxx / 2014 * s3n:// bucket / emr / xxx / xxx / year = 2014 /

不知怎的,似乎是

PRE年= 2015 /

PRE年= 2016 /

44324255 year = 2014

2014年的文件不会存储在s3文件夹中,而是作为单独的文件存储。(由于存在多个文件,此情况不会发生在2015年和2016年)

有没有办法让它存储为PRE year = 2014 / ???

我不希望此cmd展平目录层次结构。

0 个答案:

没有答案