我的公司在mesos上运行hadoop,我是mesos的新手。我负责的hadoop应用程序的当前限制速率是减速器任务的速度,因此我希望能够使用mesos和hadoop内存设置来加速减速器。
不幸的是,我不理解hadoop内存设置和mesos内存配置之间的关系,我怀疑mesos可能会覆盖我的一些hadoop内存设置。
是否正在更改受mesos影响的mapreduce.reduce.java.opts或mapreduce.reduce.memory.mb(在/etc/hadoop/conf/mapred-site.xml中)的值? mesos是否限制了我可以分配给reducer的内存量?
如果是这样,mesos中的配置文件在哪里,我可以更改这些设置?
2015年9月30日更新:
https://github.com/mesos/hadoop/blob/master/configuration.md处的文件列出了可以放在mapred-site.xml文件中的参数。
我仍然不确定这些参数如何影响mapred-site.xml中与内存相关的hadop配置参数。