Question

我是Hadoop的新手。我在Mac OSX上安装了Hadoop，我可以在本地系统上运行的数据集上运行Map Reduce java程序。现在我想在一个存储在远程Hadoop集群上的更大数据集上运行这个java程序。如何将jar文件复制到此群集以运行它。我尝试了put和copyFromLocal命令，但没有运气。

Answer 1

如何将jar文件复制到此群集上以运行它。＆gt;

为此，您可以使用WINSCP并将jar或Hadoop程序文件复制到远程群集。在远程集群上安装后，可以使用以下命令编译程序。

$ mkdir hadoop_classes

$ javac -cp / usr / lib / hadoop / ：/ usr / lib / hadoop / client-0.20 / -d hadoop_classess [+ YourHadoopProgram.java的路径]

$ jar -cvf yourhadoopprogram.jar -C hadoop_classess /。

$ hadoop jar yourhadoopprogram.jar org.myorg.YourHadoopProgram [输入路径] [输出路径]

检查以下链接以获得更多理解

http://www.cloudera.com/content/cloudera/en/documentation/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_usage.html

Answer 2

将jar文件放在cluster.Edge节点的边缘节点中 - 是您登录到集群的节点。

您无需将jar文件放入HDFS即可运行该程序。

跑步：

  Hadoop jar <jar-name> <arguments> <input_file> <output_path>

如果您传递输入和输出详细信息，那么它们应该是您的HDFS路径

希望这会有所帮助!!

将jar文件从我的本地hadoop节点复制到远程hadoop节点

2 个答案: