WebHDFS与HttpFS

Question

WebHDFS REST API和HttpFS之间有什么区别？

如果我理解正确：

• HttpFS是一个独立的服务，它在HDFS之上公开REST API
• WebHDFS是内置于HDFS的REST API。它不需要任何进一步的安装

我说错了吗？

什么时候建议使用一个而不是另一个？

Answer 1

我已阅读与您的问题相关的文章。以下是链接。

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS与HttpFs WebHDFS和HttpF之间的主要区别：WebHDFS需要访问集群的所有节点，当读取一些数据时，它直接从该节点传输，而在HttpF中，单个节点的行为类似于“网关”，并且将是单个节点数据传输到客户端节点的点。因此，在大文件传输过程中，HttpF可能会被阻塞，但好处是我们正在尽量减少访问HDFS所需的占用空间。