如何更改Hadoop中的映射器/缩减器数量？由于某些奇怪的原因，mapred.tasttracker.map.tasks.maximum和mapred.tasttracker.reduce.tasks.maximum不存在于mapred-site.xml中。我确实设法在dse-mapred-default.xml中找到这些设置，但是一旦打开了xml，就会有一个注释表明不应该在这个文件中编辑这些设置，并且应该在mapred-site中覆盖这些属性。 XML。
我尝试将这两个设置添加到mapred-site.xml并重新启动Hadoop，我希望这些数字也可以在dse-mapred-default.xml中更新，但没有运气。
有人可以对此有所了解吗？
由于 迈季
答案 0 :(得分：1)
不是mapred.tasttracker.map.tasks.maximum，而是mapred.tasktracker.map.tasks.maximum。我希望这只是一个错字，你在配置中使用了正确的名称。
启动时，DSE会创建dse-mapred-default.xml和dse-core-default.xml文件，并使用适合您本地操作系统配置和硬件的默认值填充它们。这主要用于Hadoop自动调整功能和简化安全性Hadoop的配置。然后Hadoop按以下顺序加载配置文件：
稍后加载的文件中的设置会覆盖之前加载的设置。最终配置状态是 not 写回具有默认值的文件。您不应期望将mapred-site.xml中的设置复制到dse-mapred-default.xml文件中。
如果您不确定最终配置是什么以及您的设置是否设置正确 - 只需运行一个作业并查看hadoop日志目录并搜索匹配模式job_xxxxxxxxxxxx_xxxx_conf.xml的文件，其中x是一个数字。您还可以在jobtracker HTTP控制台中查看最终配置。