Java项目如何连接到本地hadoop实例

Question

我对hadoop很新，我正在尝试创建一个使用hadoop的java项目。

我在单节点集群中运行hadoop，我有一个java项目，我在构建路径中将hadoop作为外部jar导入。

以下是否有意义： 我应该如何将java项目连接到hadoop的本地实例？

谢谢

Answer 1

那应该有用。您不必为了连接本地Hadoop设置而做很多事情。只需创建一个Configuration对象，并使用 Configuration.addResource（）告诉您的代码在哪里查找配置文件。一个小例子：

public class CopyToHdfs {

    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml"));
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml"));
        FileSystem fs = FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("file:///Users/miqbal1/input.txt"), new Path("/"));

    }
}

Answer 2

我认为你需要的是hadoop eclipse插件。 我认为它不适用于所有hadoop版本，但我使用hadoop 1.2.0版本运行它。看看this tutorial。