通过NiFi处理器传递数据

时间:2016-02-16 03:40:29

标签: apache-nifi

我的情况涉及定制处理器参与ETL管道的各个阶段:

Processor_1 -> Processor_2 -> Processor_3

对于某些用例,Processor_3需要引用到Processor_1的原始数据输入。流文件定义中有父引用的概念。

粗略的方法是使用从Processor_1到Processor_2的流文件将原始数据传递给Processor_3。是否存在下游处理器引用原始数据的机制?

1 个答案:

答案 0 :(得分:0)

Neel,您的内容的对象结构是什么样的?如果需要,您是否可以在可以访问的流文件内容中创建原始版本和修改版本?然后下游提取你需要的版本?

或者,您可以将原始内容填充到属性中,并在处理器3中根据需要引用它们。

可能有一种NIFI方式可以做到这一点,但不确定会是什么(可能写入NIFI缓存?)。

- S