如何在MapReduce中验证通用选项？

Question

我正在将mapreduce程序的配置属性文件传递为hadoop jar myprogram.jar -conf config-props.xml

在我的run方法中，创建一个Job对象，如下所示：

Configuration conf = new Configuration();
// I want to validate that one configuration properties file is passed here
Job job = new Job(conf, getClass().getSimpleName());

虽然这很好用，但我想在创建Job对象之前添加代码以验证我是否正在发送一个配置属性文件。寻求帮助如何使用GenericOptionsParser优先完成。

Answer 1

GenericOptionsParser是一个类，它解释常见的Hadoop命令行选项，并将它们设置在Configuration对象上，供应用程序根据需要使用。您通常不直接使用GenericOptionsParser，因为实现Tool接口并使用ToolRunner运行应用程序更方便，ToolRunner在内部使用GenericOptionsParser。

查看此链接，了解有关使用GOP的详细信息。Link to GOP