Hadoop如何将用户定义的参数传递给任务？

Question

在Hadoop中，它如何将用户的配置参数传递给任务？例如，

conf.set("myparameter", "somestring")

然后我可以在mapreduce中获取参数 conf.get("myparameter")。

通过Serializable吗？以及其他参数，例如类，例如job.setInputFormatClass(TextInputFormat.class);等等。

Answer 1

配置将序列化为XML并上传HDFS。 每个任务都要将xml复制到本地FS。

类文件位于您在作业中提供的jar中。将类名放入配置中，在任务端使用反射实例化类。

这就是e.G.的原因。 Writable需要有一个默认的构造函数。