错误：拆分元数据大小超过10000000

Question

当我尝试在hadoop上运行作业时，我收到错误The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.。

指示在mapreduce.job.split.metainfo.maxsize文件中将mapred-site.xml选项更改为-1的服务进行了Internet搜索。但您无法通过Google群集中的文件修改此选项。

我也尝试使用-Dmapreduce.job.split.metainfo.maxsize = -1通过命令行设置选项，但无济于事。

我尝试使用以下命令在源代码中添加选项：

Configuration config = new Configuration ();
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1");

但它仍然犯了同样的错误。替代？

Answer 1

我有同样的问题。两条评论：

我不确定-Dmapreduce.job.split.metainfo.maxsize = -1是否可以在没有空格的情况下使用，但我不认为这些空格是允许的。

其次，看起来您正在将其设置为您的作业未使用的配置。尝试使用您的作业正在使用的配置 -

job.getConfiguration.set("mapreduce.job.split.metainfo.maxsize", "-1");

这对我有用。祝你好运。