nifi putHDFS写入本地文件系统

Question

挑战

我目前有两个hortonworks群集，一个NIFI群集和一个HDFS群集，并希望使用NIFI写入HDFS。

在NIFI集群上，我使用连接到PutHDFS的简单GetFile。

通过此文件推送文件时，PutHDFS会成功终止。但是，我没有看到我的HFDS上丢弃的文件（在HDFS集群上），我只看到一个文件被丢弃到我运行NIFI的本地文件系统上。

这让我很困惑，因此我的问题是：

如何确保PutHDFS写入HDFS而不是本地文件系统？

可能相关的背景：

• 在PutHDFS中我链接到HDFS集群的hive-site和core-site（我尝试更新所有服务器对HDFS namenode的引用，但没有效果）
• 我没有在HDFS集群上使用Kerberos（我在NIFI集群上使用它）
• 我没有在NIFI应用程序日志中看到任何看起来像错误的内容（这是有意义的，因为它成功写入，只是在错误的地方）
• 这两个群集都是使用CloudBreak在Amazon AWS上新生成的，并且打开所有流量的所有节点都无济于事

Answer 1

您能否确保使用以下命令将文件从NiFi节点移动到Hadoop： - hadoop fs -put

如果您可以使用上述命令移动文件，则必须检查您在PutHDFS处理器中传递的Hadoop配置文件。

另外，请检查您是否没有其他流程正在运行，以确保没有其他流程正在处理该文件。