Hazelcast Jet - 用例

时间:2017-02-21 15:57:54

标签: hazelcast hazelcast-jet

Hazelcast Jet有哪些用例?有没有人开始使用它?
我们的项目使用Hazelcast进行分布式映射,在这些密钥上保存键值对,并在持有密钥的节点上运行任务。我们也使用NearCache解决方案。

我很想知道Hazelcast Jet的不同之处以及它解决了哪些问题?

2 个答案:

答案 0 :(得分:2)

截至当前版本(0.3),Jet仅向每个分区提交Runnable的优势在于能够通过除Hazelcast映射中使用的密钥之外的密钥执行分组。为了在分布式环境中工作,您必须将每个项目发送到负责其分组键的处理单元,这很容易从Jet获得。

此外,您可以构建多级级联的groupBy操作,您可以在数据流中使用forks以多种方式重用相同的中间结果,您可以构建一个I / I的管道O任务分配它在所有CPU内核上读取的数据的处理等等......总之,完整的DAG计算引擎提供的所有优点。

当它达到1.0时,Jet还将支持容错无限流处理,基于事件时间的窗口等。

答案 1 :(得分:0)

2021 年用例答案:

  1. 更改数据捕获流式传输 - 使用 Debezium/Hazelcast 检测数据库更改并流式传输到其他微服务(如果数据很常见)、流式传输到数据湖或更新搜索引擎
  2. 实时分析 - 获取市场数据流并实时执行技术分析或 Twitter 分析
  3. 异步作业处理 - PDF 转换服务