需要使用Apache NiFi分别向Kafka发送记录

时间:2019-04-07 18:14:57

标签: apache-kafka schema apache-nifi avro

我正在从nifi用户日志文件本身读取流/批量格式的记录以进行测试,然后使用ConvertRecord nifi处理器转换为Avro格式,然后使用PublishKafka_2_0处理器发布到kafka主题。我还使用架构注册表进行架构确认。因此,现在将记录转储到kafka时,它是作为单个数组而不是单个记录完成的。有没有一种方法可以将记录分解为单个实体。我已经尝试过拆分记录处理器,但它似乎并没有达到预期的效果。还有另一种方法可以实现它。

-更新

1 个答案:

答案 0 :(得分:0)

为获得适当的反馈,请共享一个重现该问题的流程,但是,以下步骤有望满足您的需求:

  • 在直接发送给Kafka之前拆分您的邮件,并确认拆分实际上已成功
  • 尝试发布Kafka记录2.0,而不是发布Kafka 2.0
  • 将最大邮件大小设置为1字节而不是1MB?!