Question

如何在没有hadoop安装的情况下编译hadoop示例程序（例如字数）？

我打算在Amazon EMR上运行我的程序，因此我不需要在本地计算机上运行我的程序。

Answer 1

您需要添加hadoop并将reduce client jar映射到类路径。

例如，这两个应该得到wordcount示例来编译

hadoop-common-2.2.0.jar

Hadoop的MapReduce的客户端 - 芯 - 2.2.0.jar

hadoop-common包含org.apache.hadoop.io类所需的XxxWritable, Text个包。 hadoop-mapreduce-client-core具有您需要的org.apache.hadoop.mapreduce地图缩减程序（Mapper，Reducer）和一些适合您工作的基本类。我从来没有使用过Amazon EMR所以我不知道它是如何工作的，也不知道你是否需要打包其他罐子（或者如果你需要特定版本）。但是这些将得到一个简单的map reduce程序来编译。

如果你正在使用maven，你可以获得这些依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>2.2.0</version>
</dependency>

没有hadoop安装的Hadoop程序编译

1 个答案: