测试Hadoop是否正常工作

Question

我现在如何测试我的hadoop安装？我找不到adoop-examples-1.1.2.jar。 有没有其他方法可以测试Hadoop和Mahout是否正常工作？

提前致谢。

Answer 1

您可以运行mapreduce hello world作业。请注意，您的路径可能略有不同：

1. HADOOP_HOME是dir，你安装了hadoop。
2. <HADOOP_HOME>/input/file01
中存在的示例性测试输入文件
3. 在你的hdfs中准备dir结构：
   • <HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount
   • <HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount/input
   • <HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount/output
4. 将file01文件放入hdfs：
   • <HADOOP_HOME>/bin/hdfs dfs -put <HADOOP_HOME>/input/file01 /wordcount/input
5. 用例子jar去dir：
   • cd <HADOOP_HOME>/share/hadoop/mapreduce/lib-examples（在我的例子中，jar的名字为hadoop-mapreduce-examples-2.3.0.jar）
6. 取消已映射的作业<HADOOP_HOME>/bin/hadoop jar ./hadoop-mapreduce-examples-2.3.0.jar wordcount /wordcount/input/file01 /wordcount/output/file01-output

作业应该成功完成，您应该看到来自file01的单词计算并存储在/ wordcount / output / file01-output目录

<HADOOP_HOME>/bin/hdfs -cat /wordcount/output/file01-output/part-r-00000

Answer 2

我会下载示例jar文件或尝试找到它并运行Quasi Monte Carlo模拟。这可能是最容易运行的，也是最直接的，看它是否有效。

只需运行一个

find . -name *examples* 

在你的hadoop安装目录中。一旦找到它，只需在机器运行时将其放在首位，看看它们是否获得了预期的线程数，负载等。

Answer 3

首先使用

找到hadoop的示例jar

find /home -name hadoop-examples-1.2.1.jar

如果它存在，那么看看“hadoop-core”jar是否与它平行放置。如果两者都存在，则按照网站

中的简单字数统计步骤进行操作

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

如果示例和核心jar不存在，则下载并执行相同的步骤