从Cloud Dataflow(Apache Beam)最佳实践中查询Cloud Datastore

时间:2019-01-26 20:20:26

标签: google-cloud-datastore google-cloud-dataflow apache-beam

设置:

  • 流式云数据流作业
  • 事件通过pubsub进入
  • 状态存储在数据存储区中,我们需要在其中为每个传入事件更新状态

问题:

如何实现最佳性能,以从流式Cloud Dataflow中的ParDo获取/更新/从云数据存储中放入实例?

  • 可以/应该在Apache Beam中执行异步调用吗? (如Flink)
  • 使用startBundle批量调用是个好主意吗?
  • 无法输入侧面输入,因为我无法通过键获取这些输入,对吗?

0 个答案:

没有答案