标签: hadoop mapreduce hadoop-partitioning
通常记录阅读器逐行传递给映射器或n行。可以在映射器中访问完整块吗?这意味着记录阅读器将完全阻止映射器而不是逐行?这种方法有意义吗?
由于
答案 0 :(得分:1)
需要注意的是,默认情况下,拆分大小不等于块大小。要执行您想要的操作,您需要实现自定义InputFormat并更精确地使用方法getSplits(JobContext context)。并使InputSplit大小等于块大小。
getSplits(JobContext context)
InputSplit