我使用以下教程在我的os x本地计算机上设置了hadoop - http://blogs.msdn.com/b/brandonwerner/archive/2011/11/13/how-to-set-up-hadoop-on-os-x-lion-10-7.aspx
我运行了单词计数示例,一切正常。现在,我想使用python编写map reduce作业并在我的本地hadoop实现上运行它。我正在尝试开源'mrjob'框架。我能够在本地运行他们的单词计数示例作业,但是当我在像这样的hadoop实现上尝试它时 -
$python mrjob/examples/mr_word_freq_count.py README.rst -r hadoop > counts
我收到错误,说$ HADOOP_HOME未设置,必须明确传递。 我编辑了.bash_profile文件,当我从终端回显$ HADOOP_HOME时,我得到'/ usr / local / hadoop'
我找不到关于hadoop的mrjob框架的好文档。我只需要开始,这样我就可以在mrjob中运行示例字计数作业。
非常感谢任何帮助。
答案 0 :(得分:0)
我是其中一位维护者。下次出现这样的问题时,您应该在Github上打开一张票。我们根本不看Stack Overflow。
Hadoop运行器比其他框架更少爱,但我们正在解决下一版本中听起来相关的问题,v0.3.5:https://github.com/Yelp/mrjob/issues/482
请将更多错误报告发送给Github。