从hdfs复制到远程计算机

Question

您好我在hadoop集群的一个终端节点上运行此命令。 我想将数据从hdfs复制到某个远程机器。由于本地计算机中的磁盘配额有限，我无法在本地存储它。我想运行hdfs dfs -get /data/abc remotemac/abc

Answer 1

您无法直接执行此操作，但您可以查看Hoop和WebHDFS REST API。 Hoop使您可以通过HTTP / HTTPS访问HDFS读写。

在Hortonworks上有一个关于WebHDFS HTTP rest access to HDFS的博客。

使用sshj还有另一种解决方案。它是SSHv2的纯Java实现，允许您连接到sshd服务器并使用端口转发，文件传输等。请参阅以下参考中的详细信息：

参考：https://blog.layer4.fr/2013/04/09/transfert-files-from-hadoop-to-a-remote-server-via-ssh/