如何在Apache NiFi中配置putHDFS处理器，以便我可以通过网络将文件从本地机器传输到HDFS？

Question

我的本​​地Windows机器上的文件中有数据。本地机器上运行Apache NiFi。我想使用NiFi通过网络将此文件发送到HDFS。我如何在本地计算机上配置putHD 中的putHDFS处理器，以便我可以通过网络将数据发送到HDFS ？

谢谢！

Answer 1

您需要将core-site.xml和hdfs-site.xml从一个hadoop节点复制到运行NiFi的计算机。然后配置PutHDFS，使配置资源为“/path/to/core-site.xml,/path/to/hdfs-site.xml”。这就是NiFi视角所需的全部内容，这些文件包含连接到Hadoop集群所需的所有信息。

您还需要确保运行NiFi的计算机可以访问Hadoop集群中的所有计算机。您可以查看这些配置文件并查找任何主机名和IP地址，并确保可以从运行NiFi的计算机访问它们。

Answer 2

使用GetFile处理器或ListFile / FetchFile的组合，可以将此文件从本地磁盘带入NiFi并将其传递到PutHDFS处理器。 PutHDFS处理器在其配置中依赖于关联的core-site.xml和hdfs-site.xml文件。