'及时和有状态的'使用Dataflow runner运行Apache Beam Java可以进行处理吗?

时间:2018-04-04 12:06:38

标签: google-cloud-dataflow apache-beam

我试图使用Apache Beam(Java SDK)(专门针对Google Cloud的数据流运行程序)来评估一个有点复杂的状态机工作流程。

具体来说,我想利用状态处理和计时器,如本博文中所述:

https://beam.apache.org/blog/2017/08/28/timely-processing.html

查看数据流的capabilities matrix page,它说:

  • 定时器:" Dataflow支持非合并窗口中的定时器"。好的,没关系。
  • 有状态处理:
    • "状态支持非合并窗口"。好的。
    • 尚不支持SetState和MapState。"嗯......这听起来像个问题。我不清楚IS支持什么,如果博客帖子中的方法需要SetState和MapState。

所以我的问题是:我能否实现'及时和有状态的处理'在关于Dataflow的博文中解释了哪种方法? Dataflow目前是否支持所需的SDK功能,或者即将推出?

提前感谢您提供任何帮助

(博客文章说要检查我已经完成的能力矩阵......但是,由于我刚刚开始评估Beam / Dataflow,我无法弄清楚它是否已经完成了。可以使用Dataflow作为跑步者进行及时和有状态的处理。)

0 个答案:

没有答案