Jdbc-Spring-Kafka id列轨道

时间:2017-02-06 11:30:22

标签: mysql spring spring-mvc jdbc apache-kafka

我用jafc连接spring和Spring和Kafka,但我现在有问题了。我试图每800毫秒将数据从jdbc推送到Kafka,但我不知道怎么跟踪,所以Spring可以知道“从哪里”(例如:

  1. 800ms他得id = 10,000,
  2. 800ms他需要从id = 10,001开始)开始收集和推送新数据。
  3. 我不能使用时间戳,因为我在同一时刻在数据库中有多行, id 是否代表好,因为他可以达到极限?

    我选择使用在Spring中实现的定期触发器,但这是一个好方法还是有人有更好的想法?

    修改

    @TobiSH要求更多信息,这里是。因此,数据始终在数据库中传入,每毫秒。我想在Spring中触发App(每800ms),所以spring将数据拉出来,然后将其发送到kafka,然后使用Spark在Kafka中计算数据并将其推送到Cassandra / Hadoop,但另一种情况。所以,不,我不希望每当数据库中的某些内容发生变化时触发App,我想触发App从数据库(每800ms)收集数据,但仅 他没有收集到的数据。

0 个答案:

没有答案