Wordcount示例hadoop

Question

我是Hadoop的新手，并试图通过他们网站上提供的示例来探索它。所以这听起来像是一个非常基本的问题。

在Eclipse IDE中，我只创建了一个java项目，导入了必要的hadoop jar和核心jar。然后，我运行了一个WordCount示例，该示例随附可下载并成功运行。

但是，我没有设置任何Hadoop安装或单个节点群集。

因此，即使没有在我的系统中配置hadoop，我也无法弄清楚该工作如何运行。

我最初的理解是我需要在Running Hadoop on Ubuntu Linux之后安装hadoop才能开始，但显然没有必要。为什么呢？

Answer 1

您很可能会运行内部测试或类似的事情（可以在内存中生成hadoop配置以进行测试）。您应该安装单节点集群并开始执行实际操作，例如您之前引用的指南中的实际内容。记得检查一下hadoop网站。

Answer 2

这可能发生在作业仅检测到本地文件系统的情况下，它使用LocalFileSystem API与本地文件系统中的文件进行交互。

请参阅以下链接， Unit testing hadoop hdfs writings with MiniDFSCluster

这是我们在开发环境中开发的mapreduce / hdfs代码的单元测试选项之一。虽然在hadoop clsuter中部署相同的代码，但输入文件将在HDFS位置。