将本地HDFS文件系统浏览器与IntelliJ IDEA集成

Question

我使用我大学的HDFS集群研究了MapReduce范例，并通过HUE访问它。从HUE我可以浏览文件，阅读/编辑它们等等。

所以在那个群集中我需要：

• 我放置MapReduce.jar
的普通文件夹
• 访问HDFS中的结果

我非常喜欢编写MapReduce应用程序，因此我已将本地HDFS正确配置为个人操场，但现在我只能通过浪费时间的命令行（例如those）来访问它。

我可以直接访问＆＃34;＆＃34;通过SFTP远程主机连接到我的全面IntelliJ IDEA的HDFS，以下是＆＃34;用户普通文件夹＆＃34;：

这是来自HUE的HDFS，我得到了结果：

显然，在我的本地机器中，＆＃34;普通用户文件夹＆＃34;是我使用shell的地方，但我可以浏览HDFS以仅通过命令行获得结果。

我希望即使是本地HDFS，我也可以做这样的事情。以下是我能做的最好的事情：

我知道可以通过http://localhost:50070/explorer.html#/访问HDFS，但这非常糟糕。

我找了一些插件，但我找不到任何有用的东西。从长远来看，使用命令行会变得很累。

Answer 1

  

我可以直接访问＆＃34;＆＃34;通过SFTP远程主机的意思到我的全面IntelliJ IDEA的HDFS ......

     

以下是我能做的最好的事情......

这些都不是HDFS。

1. 您SSH的机器的用户文件夹是
2. 只是本地计算机上的NameNode数据目录

Hue使用WebHDFS，并通过http://namenode:50070

连接

您需要的是一个可以connect to the same API的插件，它不是通过SSH或简单的文件挂载。

如果您想要安装文件，则需要设置NFS Gateway，并mount the NFS drive和任何其他网络附加存储一样。

在生产环境中，您可以编写代码，将其推送到Github，然后Jenkins（例如）将构建代码并将其推送到HDFS。