我可以访问映射器中的完整块吗?

时间:2018-01-22 09:30:03

标签: hadoop mapreduce hadoop-partitioning

通常记录阅读器逐行传递给映射器或n行。可以在映射器中访问完整块吗?这意味着记录阅读器将完全阻止映射器而不是逐行?这种方法有意义吗?

由于

1 个答案:

答案 0 :(得分:1)

需要注意的是,默认情况下,拆分大小不等于块大小。要执行您想要的操作,您需要实现自定义InputFormat并更精确地使用方法getSplits(JobContext context)。并使InputSplit大小等于块大小。