在具有多个实例的应用程序上创建的Hazelcast喷射管道会导致问题

Question

我有一个应用程序，其中创建了Jet实例和管道作业以汇总流数据的结果。我正在运行此类应用程序的多个实例。 我面临的问题是，由于有2个实例，它正在运行2个管道作业，因此结果被计算两次且不正确，但是它发现两个喷射实例都属于同一群集。

喷射管道是否不检查管道作业，如果只是检查管道作业，就像kafka流是否具有其拓扑结构？

Answer 1

Jet 0.7中的作业提交是整个集群的。如果您两次提交相同的管道/ DAG，则作业将执行两次。

即将发布的版本增加了newJobIfAbsent()方法：如果作业具有名称，则只有存在同名作业的作业才提交作业。如果已经有一个同名作业，它将把Job句柄返回到已经存在的作业。