标签: hadoop command hdfs
将较小的文件从多个HDFS文件夹复制到一个目标文件夹的有效方法是什么?还需要合并较小的文件才能使Map-Reduce有效。
答案 0 :(得分:0)
有DistCp这是map-reduce作业,它以并行方式将文件从一个或多个源文件夹复制到一个目标文件夹。 但是,它没有合并文件。 但也许你可以使用filecrush来做到这一点! (让我知道这是怎么回事!)
答案 1 :(得分:0)
您只需运行默认的Map-Reduce作业(使用默认的Mapper和Reducer),将“多个HDFS文件夹”作为输入,将一个目标文件夹作为输出。