NiFi |流程文件移动与处理器

时间:2016-09-11 13:53:55

标签: apache-nifi

我一直在阅读关于NiFi的内容并且几乎没有查询。考虑一个用例,我想从本地将数据移入HDFS。我将使用getFile和putHDFS处理器。

因此,当我将位置传递给getFile时,它将获取数据并将移动到内容存储库中,并进一步传递给putHDFS处理器以供摄取。

问题:

  1. 我看过流文件内容是字节表示,字节转换是由Nifi完成的吗?(如果我的源文件是文本文件)?

  2. 如何将数据从内容存储库移至HDFS?

1 个答案:

答案 0 :(得分:1)

1)实际上没有进行转换...... GetFile处理器正在从源文件读取字节并将字节写入内容存储库中的目标。无论源文件的内容是什么,它在内容存储库中都是相同的。此操作以流式方式执行,以便可以将大文件移动到内容存储库中,而无需将整个文件读入内存。

2)PutHDFS处理器使用Apache Hadoop 2.6.2客户端将内容存储库中的字节流式传输到HDFS。它类似于从命令行执行“hdfs put”。