Jobconf在Hadoop中失败的原因

Question

我有一个每天运行的MapReduce作业。但它失败了以下例外： -

java.io.IOException：超出max jobconf大小：5437618 limit：5242880。

我能否知道这个的根本原因？作业的输入路径保持不变。

Answer 1

看起来其中一个参数值变得​​非常大。尝试使用JobConf上的iterator（）方法进行调试，以遍历键/值对集合，以查看其中一个值是否过大。