Hive映射只创建多个零字节文件的作业/阶段

时间:2017-11-08 13:04:30

标签: hadoop hive mapreduce hiveql

我有一个hive查询,它有多个连接,所以阶段数。在某些情况下执行查询时,不会有任何输出。在这些情况下,作业在中间阶段完成,其中映射器的数量为N且没有reducers为0(No reducer),这将创建N个零字节文件

尝试提供以下设置

set hive.merge.mapfiles=true 
set hive.merge.mapredfiles=true 
set hive.merge.smallfiles.avgfilesize=128000000
set hive.merge.size.per.task=256000000

如果输出中有一些记录,我们将根据设置获得预期输出

基本上,当没有记录输出仅用于地图的作业/阶段时,就会发生这种情况。

我将0byte输出作为单个文件,如果config为no减少器设置为1(查询的所有阶段使用单个reducer)或者压缩输出为true。还有一个0字节的文件

我们将不胜感激。提前致谢

0 个答案:

没有答案