为什么从文件插入表中会生成多个映射器,而不会从另一个文件插入文件中呢?

时间:2019-04-25 22:59:35

标签: sql hadoop hive

当我从文件(其属性之一是日期)向表中插入数据时,仅生成了1个映射器。

但是,当我从这个新表插入另一个表时,这次将date属性转换为年,月和日属性,则生成了多个映射器。是什么原因呢?

1 个答案:

答案 0 :(得分:0)

映射器的数量取决于输入拆分。

似乎您的文件作业有一个文件作为输入,并且您在配置中使用了类似FileInputFormat的名称。有了这个设置,hadoop将创建一个映射器来处理输入。

hadoop中的表输入作业通常每个表区域创建1个映射器。由于HBase区域自动拆分功能,您的表似乎具有多个区域。这就是为什么您有几个映射器的原因。