Question

目前我正在使用Apache Hadoop（使用Java实现MapReduce作业）。我查看了一些示例（如WordCount示例）。我在编写自定义mapreduce应用程序（我正在使用Cloudera Hadoop Demo VM）方面取得了成功。我的问题是关于一些实现和运行时问题。

工作类的原型如下：

public class WordCount {

  public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
    // mapping
      }
    }
  }

  public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
      // reducing
    }
  }

  public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(WordCount.class);
    conf.setJobName("wordcount");
    // setting map and reduce classes, and various configs
    JobClient.runJob(conf);
  }
}

我有一些问题，我试着去谷歌，但我必须告诉hadoop上的文档是非常正式的（就像一本大的参考书），不适合初学者。

我的问题：

Map和Reduce类必须是静态内部类 Main类，或者它们可以在任何地方（从Main可见？）
你可以使用Java SE和可用库提供的任何东西，就像普通的Java SE应用程序一样吗？我的意思是，像JAXB，Guava，Jackson for JSON等
编写通用解决方案的最佳做法是什么？我的意思是：我们希望以不同（但略微相似）的方式处理大量日志文件。日志文件的最后一个标记始终是带有一些条目的JSON映射。一个处理可以是：按日志行计数和分组（keyA，来自地图的keyB），另一个可以是：按日志行计数和分组（keyX，来自地图的keyY）。（我正在考虑一些基于配置文件的解决方案，你可以在这里为程序提供实际必要的条目，如果你需要新的解决方案，你只需要提供配置并运行应用程序。）
可以是相关的：在WordCount示例中，Map和Reduce类是静态内部类，main（）对它们没有影响，只是将这些类提供给框架。你能否使这些类非静态，提供一些字段和构造函数来改变运行时的一些当前值（比如我提到的配置参数）。

也许我在不必要地挖掘细节。总体问题是：hadoop mapreduce程序仍然是我们习惯的普通JavaSE应用程序吗？

Answer 1

以下是你的答案。

只要MapTask / ReduceTask的类加载器能够加载mapper / reducer类，mapper和reducer类就可以在包结构中的任何位置的单独Java类中，也可以在单独的jar文件中。您展示的示例是为Hadoop初学者进行快速测试。
是的，您可以使用任何Java库。这些第三方jar应该通过-files命令的hadoop jar选项或使用Hadoop API提供给MapTask / ReduceTask。请查看此链接here 有关将第三方库添加到Map / Reduce类路径的详细信息
是的，您可以使用以下任一方法配置并将配置传递给Map / Reduce Jobs。

3.1使用如下org.apache.hadoop.conf.Configuration对象在客户端程序中设置配置（使用main()方法的Java类

Configuration conf = new Configuration(); conf.set("config1", "value1"); Job job = new Job(conf, "Whole File input");

Map / Reduce程序可以访问Configuration对象，并使用get()方法获取为属性设置的值。如果配置设置很小，建议使用此方法。

3.2使用分布式缓存加载配置并使其在Map / Reduce程序中可用。有关分布式缓存的详细信息，请单击here。这种方法更可取。

4. main()是客户端程序，负责配置和提交Hadoop作业。如果未设置任何配置，则将使用默认设置。 Mapper类，Reducer类，输入路径，输出路径，输入格式类，减速器数等配置。例如：

此外，请查看有关作业配置的文档here

是的，Map / Reduce程序仍然是JavaSE程序，但是它们分布在Hadoop集群中的机器上。可以说，Hadoop集群有100个节点，并提交了单词计数示例。 Hadoop框架为每个Map和Reduce任务创建Java进程，并在数据所在的机器子集上调用回调方法，如map()/reduce()。实质上，mapper / reducer代码在数据存在的机器上执行。我建议你阅读The Definitive Guide

我希望，这有帮助。

Hadoop MapReduce，Java实现问题

1 个答案: