如何在OS X上运行Hadoop?

时间:2014-03-13 11:10:35

标签: python macos path hadoop-streaming

我有一个macbook Pro。我想我已经成功安装了hadoop-streaming,但我不知道它在哪里安装,以及hdfs在哪里。我已经安装了单节点版本。我正在使用python编写代码。我将mapper.py和reducer.py放在我的桌面上,我也在桌面上放置了一个大文本文件,我将在其上运行程序。我正在关注本教程http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/问题是我不知道在第34节中输入什么路径;将本地示例数据复制到HDFS"在教程中。我成功地单独运行了python文件,并且我使用了与教程相同的代码。我使用brew安装了Hadoop。

谢谢

1 个答案:

答案 0 :(得分:1)

which hadoop

echo $HADOOP_HOME 

将为您提供已安装hadoop的路径(如果您已按照所有安装步骤进行操作)

您应该从要传输的文件所在的目录中键入以下命令。或者你可以定义整个路径......

hadoop fs -copyFromLocal /local/path/file.txt /hdfs/path/file.txt

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

更多可用的示例@ [Hadoop Shell Commands]:https://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#put