直接将文件从本地计算机复制到远程HDFS集群

Question

我想直接从本地Linux机器将文件复制到远程HDFS集群，即我不想将文件复制到远程机器，然后使用copyfromlocal命令将其移动到HDFS。

为此，我执行了以下命令，我在在线博客中找到了它。

cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/sample.txt"

执行命令时我遇到的问题是该文件完全从本地计算机复制到远程HDFS集群，但文件sample.txt。 COPYING 是在远程HDFS集群中创建的而不是样本。文本文件。复制过程运行不确定，换句话说，它不会终止，我必须使用Ctrl + C终止进程。

非常感谢有人帮我解决这个问题。

Answer 1

您的sample.txt文件有多大？我认为它可能很大并且该过程没有终止，因为它还没有真正完成复制文件。