从多个文件中读取并压缩到单个文件

时间:2016-03-22 16:34:45

标签: hadoop

Hadoop新手。

数据被加载到不同目录中的多个文件中。任务是读取多个文件并写入/压缩到单个文件。你能分享一下完成这项任务的最佳选择吗?

1 个答案:

答案 0 :(得分:0)

使用cat并将结果传递给put

hadoop fs -cat /directorypath/*.txt | hadoop fs -put - outputfilepath.txt