hadoop os x mrjob $ HADOOP_HOME未设置

时间:2012-04-21 12:54:28

标签: java python macos hadoop mapreduce

我使用以下教程在我的os x本地计算机上设置了hadoop - http://blogs.msdn.com/b/brandonwerner/archive/2011/11/13/how-to-set-up-hadoop-on-os-x-lion-10-7.aspx

我运行了单词计数示例,一切正常。现在,我想使用python编写map reduce作业并在我的本地hadoop实现上运行它。我正在尝试开源'mrjob'框架。我能够在本地运行他们的单词计数示例作业,但是当我在像这样的hadoop实现上尝试它时 -

$python mrjob/examples/mr_word_freq_count.py README.rst -r hadoop > counts

我收到错误,说$ HADOOP_HOME未设置,必须明确传递。 我编辑了.bash_profile文件,当我从终端回显$ HADOOP_HOME时,我得到'/ usr / local / hadoop'

我找不到关于hadoop的mrjob框架的好文档。我只需要开始,这样我就可以在mrjob中运行示例字计数作业。

非常感谢任何帮助。

1 个答案:

答案 0 :(得分:0)

我是其中一位维护者。下次出现这样的问题时,您应该在Github上打开一张票。我们根本不看Stack Overflow。

Hadoop运行器比其他框架更少爱,但我们正在解决下一版本中听起来相关的问题,v0.3.5:https://github.com/Yelp/mrjob/issues/482

请将更多错误报告发送给Github。