流作业与循环批处理作业之间的关系，以使用Kafka队列中的数据

Question

例如，如果我有一个始终在运行的Java应用程序，并且它正在从Kafka队列中读取数据，目的是获取数据并将其转发到db ...无限是否有重大缺点？通过批处理循环而不是通过Kafka Streaming / Kafka Connect进行循环？考虑到我并不是在每个循环中无意义地创建或浪费资源，而且我正在正确地处理多线程，是否有主要的缺点或理由不这样做？对于长时间运行的应用程序，这是可行的选择吗？

（我有理由不使用Kafka Streams /使用我们的用例进行连接）

Answer 1

因此，我与我的工程师交谈。事实证明，只要正确执行批处理作业，就可以进行无限循环。这意味着您已经微调了配置，在循环之间短暂地暂停了一下，如果连接/消费者/生产者将要失败，则可以正确地处理它们的寿命。另一个团队已经在产品环境中进行此操作。