从两个文件中作为一个文件存储到hdfs

Question

我是Hadoop的新手。

是否有两个结构相同的文件， 可以使用hive来加入该文件并将其作为一个文件存储到hdfs吗？

谢谢。

Answer 1

Hive用于在Hadoop中进行查询。如果要合并两个文件，也可以使用Unix命令来实现，以下是命令

服务器域$ cat file1 file2 >> COMB_FILE

并在其顶部创建表。

Answer 2

当您将数据加载到托管配置单元表中时，如果大小小于块大小，则应启用合并减速器输出的功能。

• hive.merge.mapfiles-在仅地图作业结束时合并小文件。
• hive.merge.mapredfiles-在地图缩减作业结束时合并小文件。
• hive.merge.size.per.task-作业结束时合并文件的大小。
• hive.merge.smallfiles.avgsize-当作业的平均输出文件大小小于此数字时，Hive将启动另一个map-reduce作业以将输出文件合并为更大的文件。如果hive.merge.mapfiles为true，则仅对仅地图作业执行此操作；如果hive.merge.mapredfiles为true，则仅对map-reduce作业执行此操作。