Mesos是否覆盖了Hadoop内存设置?

时间:2015-09-24 20:41:39

标签: hadoop memory-management mesos mapper reducers

我的公司在mesos上运行hadoop,我是mesos的新手。我负责的hadoop应用程序的当前限制速率是减速器任务的速度,因此我希望能够使用mesos和hadoop内存设置来加速减速器。

不幸的是,我不理解hadoop内存设置和mesos内存配置之间的关系,我怀疑mesos可能会覆盖我的一些hadoop内存设置。

是否正在更改受mesos影响的mapreduce.reduce.java.opts或mapreduce.reduce.memory.mb(在/etc/hadoop/conf/mapred-site.xml中)的值? mesos是否限制了我可以分配给reducer的内存量?

如果是这样,mesos中的配置文件在哪里,我可以更改这些设置?

谢谢!

2015年9月30日更新:

https://github.com/mesos/hadoop/blob/master/configuration.md处的文件列出了可以放在mapred-site.xml文件中的参数。

我仍然不确定这些参数如何影响mapred-site.xml中与内存相关的hadop配置参数。

1 个答案:

答案 0 :(得分:0)

配置在相应的GitHub repo mesos/hadoop中进行了描述。