使用PutS3Object

Question

我简化的Nifi设置是：将ConsumeKafka_2_0处理器放入PutS3Object处理器。我正在阅读多个主题，主题名称已包含在S3键前缀中。 这可以正常工作，但是每个FlowFile都存储在单独的S3对象中。

如何为每个主题累积一些FlowFile？我遇到了MergeContent处理器，但是不确定它是否满足我的所有要求。 应该写S3对象

• 一段时间后，例如说10分钟
• 达到某个大小阈值后，例如100MB（以先发生的为准）
• 按顺序

装箱算法可能会以错误的顺序合并FlowFiles，对吧？碎片整理似乎没有用，但是我不知道我做错了什么。

Answer 1

您是否尝试过使用ControlRate处理器？

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.7.1/org.apache.nifi.processors.standard.ControlRate/。

尝试将ControlRate处理器与MergeContent处理器结合使用可能会解决您的特定用例。

如果要按特定顺序处理流文件，可以在入站队列中对其进行定义。我已经附上了一个屏幕截图，以便选择“ FirstInFirstOutPrioritizer”。