我可以使用Apache NIFI将文件传输到HDFS系统。

Question

如果是，请指导我这方面的基本步骤。 我浏览页面并意识到可以使用core-site.xml

来完成它

Answer 1

您可以使用PutHDFS处理器轻松地将文件传输到HDFS文件系统。

请看下面的链接。，

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/

在此处理器中，您必须指定以下属性才足以将文件传输到HDFS。

1.Hadoop配置资源： - 文件或逗号分隔的文件列表

/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml

2.Directory：指定HDFS目录的位置

/FilesFromNiFi/

3.冲突策略:(追加/替换/忽略/失败）

append

例如：

如果您需要将文件从本地驱动器移动到HDFS意味着使用以下NiFi工作流程

GetFile-->PutHDFS

GetFile-->Just give your input directory.

putHDFS-->Specify your HDFS location 

您需要将处理器拖动到相对于下方图像的UI。

请参阅此链接以将此两个处理器GetFile并将HDFS拖入NiFi UI

https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas

http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/

如果您遇到任何问题，请告诉我。