作为Hadoop应用程序的新开发人员,我很难掌握Map/Reduce
或Oozie
或Sqoop
作业的无数配置选项。所有推荐的书籍或网站都没有全面处理。在Hadoop生态系统中的任何新工具,您将看到更多。我想问一下了解作业配置选项的最佳方法/资源是什么。
答案 0 :(得分:1)
我读过hadoop:权威指南这对我来说非常有用。
此外,在阅读任何configuration property in hadoop时,您必须将其与hadoop的相应元素相关联。
与以mapred.map
开头的任何属性一样,用于设置映射器任务的属性,mapred.reduce
与减速器相同。
通过这种方式,您可以轻松理解和记忆属性。
答案 1 :(得分:0)
这里有Hadoop的所有配置:
https://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/core-default.xml
此外,如果您想查看当前配置的内容及其来源,请执行以下操作:
$ hadoop org.apache.hadoop.conf.Configuration