如何知道Amazon Emr集群上的mapred-site值？

Question

我遇到了内存问题，因此我查询了以下参数的默认值：

mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts

在Amazon文档中，发现默认值很低。因此，我在创建EMR群集时添加了一个配置，如下所示：

classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]

并创建集群。现在，如何检查这些值是否确实更新？

Answer 1

您可以按照以下两种方式来查找您的mapreduce配置详细信息。

方法1：

• 登录到EMR的EC2实例
• 转到mapreduce配置路径（通常为/ etc / hadoop / conf）
• 打开mapred-site.xml并搜索您的属性。

方法2：

• 转到JobHistory用户界面（通常为http://history-server-hostname:19888/jobhistory）
• 遍历工具->配置

方法3：

• 希望您还可以从Amazon EMR控制台查看所有分类。