HDF到HDP数据存储

Question

我们有两个集群。一个是HDF集群，包括Nifi，另一个是HDP集群，包括hdf，Hive等其他组件。我们正在从文件中读取数据，并希望放在hdp cluster hdfs中。

任何人都可以指出关于这个或一些例子的文件..

提前致谢

Answer 1

NiFi的PutHDFS处理器会将数据写入HDFS。您可以使用hdfs-site.xml和core-site.xml文件对其进行配置。

有时，网络，安全性或应用程序配置使得难以将文件从远程NiFi安全地写入Hadoop集群。一种常见的模式是使用两个NiFis - 一个NiFi收集，格式化和聚合记录，然后通过NiFi site-to-site协议传输到Hadoop集群内的第二个NiFi。由于第二个NiFi位于Hadoop集群内部，因此可以更轻松地将文件安全地写入HDFS。

PutHDFS功能在一对NiFi Example Dataflow Templates中，它还演示了常见的相关活动，如聚合数据，目录和文件命名以及NiFi站点到站点通信。