为什么映射器只为下一个配置单元查询发出一个键?

时间:2016-06-09 14:22:40

标签: mapreduce hive

$file_handler = fopen($pathname, "r");

$contents = fread($file_handler, filesize($pathname));表由fclose($file_handler);分区。至for ($i = 0; $i < 3; $i++){,我之前在较大的表格中添加了一天的分区。这个更大的表也按日分区。我正在运行上面的查询。

它有两个阶段,只有一个reducer获取所有数据,我相信这意味着第二阶段的映射器只发出一个键。 为什么映射器只生成一个密钥?我有什么办法可以在减速器之间更好地分配数据吗?

自过去18个小时以来,这项工作已经完成66.67%。 分区的统计信息从较大的表中添加到$bytes[$i] = ord(substr($contents, $i, 1));

}

分区中每个snappy压缩文件都有5个块。

0 个答案:

没有答案