在$ HADOOP_HOME外部运行Java程序（使用HDFS JAVA API）

Question

我有一个简单的Java程序，只需读取和写入一些文本到HDFS上的文件。我使用 hadoop HDFSReadWrite文本运行它。

我想从eclipse运行它，或者像任何其他java程序一样运行它，并且仍然能够在Hadoop环境之外使用HDFS。有没有办法做到这一点？我真的很需要它。

Answer 1

我能够在Eclipse中运行mapreduce作业。它与HDFS计划没什么不同。

• 从命令提示符启动namenode和datanode。
• 在Eclipse中创建Java项目。
• 包括common，hdfs和所需的jar文件。
• 在项目中包含HDFSReadWrite.java文件。
• 将以下参数传递给java程序。 “ - config ConfigurationDirectory text”
• 执行HDFSReadWrite

而不是包含jar文件，相应的Eclipse项目可以包含在构建路径中，或者附加的src jar文件用于调试目的。

不是创建Java项目，而是在eclipse插件文件夹中复制hadoop-eclipse-plugin - * .jar文件并创建“Map / Reduce Project”。然后自动包含所需的jar文件。

以下网址

中提到了不同的命令选项

http://hadoop.apache.org/common/docs/r0.21.0/commands_manual.html