目前我的hdfs结构是:
/数据/ XXX / XXX / 2014
/数据/ XXX / XXX / 2015
/数据/ XXX / XXX / 2016
2015年有两个文件,2016年有两个,2014年只有一个文件
我使用此命令单独复制它们:
hadoop distcp -Dfs.s3n.awsAccessKeyId =" mykey" -Dfs.s3n.awsSecretAccessKey =" mysecret" / data / xxx / xxx / 2014 * s3n:// bucket / emr / xxx / xxx / year = 2014 /
不知怎的,似乎是
PRE年= 2015 /
PRE年= 2016 /
44324255 year = 2014
2014年的文件不会存储在s3文件夹中,而是作为单独的文件存储。(由于存在多个文件,此情况不会发生在2015年和2016年)
有没有办法让它存储为PRE year = 2014 / ???
我不希望此cmd展平目录层次结构。