Apache Hadoop配置选项

时间:2013-03-04 15:38:52

标签: hadoop

作为Hadoop应用程序的新开发人员,我很难掌握Map/ReduceOozieSqoop作业的无数配置选项。所有推荐的书籍或网站都没有全面处理。在Hadoop生态系统中的任何新工具,您将看到更多。我想问一下了解作业配置选项的最佳方法/资源是什么。

2 个答案:

答案 0 :(得分:1)

我读过hadoop:权威指南这对我来说非常有用。

此外,在阅读任何configuration property in hadoop时,您必须将其与hadoop的相应元素相关联。

与以mapred.map开头的任何属性一样,用于设置映射器任务的属性,mapred.reduce与减速器相同。

通过这种方式,您可以轻松理解和记忆属性。

答案 1 :(得分:0)

这里有Hadoop的所有配置:

https://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/core-default.xml

此外,如果您想查看当前配置的内容及其来源,请执行以下操作:

$ hadoop org.apache.hadoop.conf.Configuration