重新部署SCDF流时Kafka偏移量的变化情况如何？

Question

我将SCDF on YARN 1.0.2.RELEASE与Kafka 0.10.0一起用于流应用。

当我取消部署流然后再次部署它时，有时似乎它继续在当前的Kafka主题偏移处，而有时它从最旧的偏移量开始。

在重新部署流时，我可以在哪里配置以获得可预测的行为（例如，当前偏移，最新偏移，最旧偏移）？

有没有办法期望不同流的不同行为？

Answer 1

重新部署流时，您需要使用spring.cloud.stream.kafka.bindings.<channelName>.consumer.startOffset到latest。默认行为是使用earliest。您可以查看this文档以获取更多信息。