如何通过URL访问hadoop hdfs并在程序中使用

Question

我的hadoop dfs可以通过

访问

http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070

在我的程序中，我必须参考我的hdfs

替换输入

FileInputFormat.addInputPath(conf, new Path("input"));

我的core-site.xml具有值 我无法使用网址访问的hdfs://localhost:54310。

我的实际hdfs路径是/users/hdone/text2，其中所有文件都具有适当的权限。

那我该为input撰写什么？

Answer 1

你应该只给你输入的dfs相对路径，它应该被正确读取。

例如，您正在创建输入路径，如下所示：

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv

现在，为了运行您的hadoop作业，您可以执行以下操作：

$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory

在您的Java代码中，您可以通过args[0]访问它，如下所示：

FileInputFormat.addInputPath(conf, new Path(args[0]));