NiFi |流程文件移动与处理器

Question

我一直在阅读关于NiFi的内容并且几乎没有查询。考虑一个用例，我想从本地将数据移入HDFS。我将使用getFile和putHDFS处理器。

因此，当我将位置传递给getFile时，它将获取数据并将移动到内容存储库中，并进一步传递给putHDFS处理器以供摄取。

问题：

1. 我看过流文件内容是字节表示，字节转换是由Nifi完成的吗？（如果我的源文件是文本文件）？

2. 如何将数据从内容存储库移至HDFS？

Answer 1

1）实际上没有进行转换...... GetFile处理器正在从源文件读取字节并将字节写入内容存储库中的目标。无论源文件的内容是什么，它在内容存储库中都是相同的。此操作以流式方式执行，以便可以将大文件移动到内容存储库中，而无需将整个文件读入内存。

2）PutHDFS处理器使用Apache Hadoop 2.6.2客户端将内容存储库中的字节流式传输到HDFS。它类似于从命令行执行“hdfs put”。