了解Hadoop程序入口点和问题

时间:2014-05-30 05:31:11

标签: java hadoop cloudera

背景: 我是新的Hadoop并通过Youtube视频学习东西。我正在使用Cloudera QuickStart VM进行实际操作。在运行Cloudera" hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar"提供的WordCount示例时,我无法找到该程序的入口点。

这是源代码链接, http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.hadoop/hadoop-mapreduce-examples/2.0.0-cdh4.0.0/org/apache/hadoop/examples/WordCount.java?av=f

问题, 1)WordCount程序的切入点是什么或流程是什么?

我确定它不是WordCount.java的主要方法,因为当我使用WordCount作为程序名称时,我得到下面提到的错误。
   [cloudera @ localhost hadoop-mapreduce] $ hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar WordCount / user / cloudera / harsha / input / user / cloudera / harsha / output 未知程序' WordCount'选择的。
  {更多节目在这里}
  teravalidate:检查terasort的结果
  wordcount:一个map / reduce程序,用于计算输入文件中的单词。   

2)如何设置CLASSPATH?

使用以下语句,程序运行正常。我们如何引用所需的库?
   [cloudera @ localhost hadoop-mapreduce] $ hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar wordCount / user / cloudera / harsha / input / user / cloudera / harsha / output

谢谢, 戒日

1 个答案:

答案 0 :(得分:0)

您可以使用以下命令设置CLASSPATH

javac -classpath /usr/lib/hadoop/hadoop-common-2.0.0-cdh4.4.0.jar:/usr/lib/hadoop/client/hadoop-mapreduce-client-core-2.0.0-cdh4.4.0.jar -d wordcount_classes WordCount.java