我的情况涉及定制处理器参与ETL管道的各个阶段:
Processor_1 -> Processor_2 -> Processor_3
对于某些用例,Processor_3需要引用到Processor_1的原始数据输入。流文件定义中有父引用的概念。
粗略的方法是使用从Processor_1到Processor_2的流文件将原始数据传递给Processor_3。是否存在下游处理器引用原始数据的机制?
答案 0 :(得分:0)
Neel,您的内容的对象结构是什么样的?如果需要,您是否可以在可以访问的流文件内容中创建原始版本和修改版本?然后下游提取你需要的版本?
或者,您可以将原始内容填充到属性中,并在处理器3中根据需要引用它们。
可能有一种NIFI方式可以做到这一点,但不确定会是什么(可能写入NIFI缓存?)。
- S