直接使用scp将hdfs文件复制到远程linux服务器吗？

Question

我有一个用例，可以将最新生成的HDFS文件复制到linux远程服务器。我不想将中间件存储在本地文件系统中，然后将scp存储到远程服务器。

我知道这一点，但是我想避免它（出于明显的原因-在本地fs中存储大文件的开销）

hadoop fs -copyToLocal <src> <dest>
and then scp toMyLinuxFileSystem

是否有直接将hdfs文件复制到远程linux服务器的命令？

Answer 1

如果ssh到服务器可用，则可以使用linux管道传输数据

hdfs dfs -cat my-file.txt | ssh myserver.com 'cat > /path/to/my-file.txt'

第一个命令以流的形式读取文件数据，第二个命令将其重定向到远程服务器。为我工作。如果长时间没有任何操作，请考虑ssh有时会超时。

此答案的积分：https://superuser.com/questions/291829