如何在数据转换模板中增量/更新数据

Question

您能否告诉我像在数据提取中那样通过将水印值设置为高来在数据转换模板中添加提交发布高水印的过程。因为我需要获取增量/更新的数据。

我通过阅读文档获得了此解决方案，但是却不知道该怎么做。最终，我的要求是在数据转换中获取增量数据和新数据。

如果您对此有意见，请给我答复

Answer 1

您的模板需要从LoadHighWaterMark处理器开始。这用于将当前的高水印值放入流文件属性中。初始值为null，直到由ReleaseHighWarkMark处理器对其进行更新。 LoadHighWaterMark处理器还会阻止执行提要，直到释放高水印为止。

然后，您需要将ReleaseHighWaterMark处理器连接到流程中的每个失败关系，并将另一个ReleaseHighWaterMark处理器连接到流程中的最终成功关系。每个流文件都必须在ReleaseHighWaterMark处理器处结束，这一点很重要，因为LoadHighWaterMark处理器会阻塞，直到当前流文件被释放为止。

ReleaseHighWaterMark处理器上的“模式”属性指示是保存新的高水印值还是保留现有的值。最终成功关系的ReleaseHighWaterMark处理器应将“模式”设置为“提交”，以便保存新的高水位标记值。对于所有故障关系，ReleaseHighWaterMark处理器应将“模式”设置为“拒绝”，以便保留现有的高水位标记值。

有关更多信息，请参见Kylo文档：http://kylo.readthedocs.io/en/latest/how-to-guides/NiFiProcessorsDocs.html#high-water-mark-processors