Question

我正在尝试将数据从本地edgenode发送到hdfs作为管道。目的是模拟来自外部服务器的数据通过边缘节点命中管道然后将其登陆到hdfs。这是我们的要求。我已经尝试了以下命令，但似乎停滞不前。

mkfifo my_pipe
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt

Answer 1

如果cat命名管道，它将等待EOF。

如果你想用管道来做这件事，也许你应该尝试一些比较容易的事情：

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt

您可以在this thread上找到有关命名管道，猫和尾的一些有用信息。