我有一个hive查询,它有多个连接,所以阶段数。在某些情况下执行查询时,不会有任何输出。在这些情况下,作业在中间阶段完成,其中映射器的数量为N且没有reducers为0(No reducer),这将创建N个零字节文件
尝试提供以下设置
set hive.merge.mapfiles=true
set hive.merge.mapredfiles=true
set hive.merge.smallfiles.avgfilesize=128000000
set hive.merge.size.per.task=256000000
如果输出中有一些记录,我们将根据设置获得预期输出
基本上,当没有记录输出仅用于地图的作业/阶段时,就会发生这种情况。
我将0byte输出作为单个文件,如果config为no减少器设置为1(查询的所有阶段使用单个reducer)或者压缩输出为true。还有一个0字节的文件
我们将不胜感激。提前致谢