将informatica与Kafka整合在一起

Question

我计划在Informatica BDM中使用Kafka Data Objects。 我想通过Informatica BDM每5分钟读取Kafka的数据。我几乎没有询问Kafka如何识别它必须加载的当前偏移量。 我们可以设置一个主题的偏移量，Informatica需要在Kafka数据对象中加载增量或更改的数据吗？ 我找到了以下答案，请你纠正我的确切过程： 1）Zookeeper是否存储当前偏移量，直到加载数据为止。 2）要在上次提交的偏移量之后读取消息，我们需要将Consumer配置文件中的auto.offset.reset参数设置为最大值。

请建议我如何从Kafka获取数据。

此致

Srinath

Answer 1

回答你的问题，

1. 旧的消费者API将偏移量存储在ZooKeeper中。但是，新的消费者API将偏移存储在Kafka的内部主题中。
2. 在消费者群组中，默认情况下，Kafka Consumer会开始使用上次提交的偏移量中的消息。当消费者组没有提交的偏移量时，配置auto.offset.reset开始起作用。例如，当一个消费者开始作为一个新的消费者群体的一部分消费时，这个配置决定了它应该从哪里开始（日志的开始或日志的结尾）。