Apache Beam:自定义窗口(windowfn)

时间:2018-06-05 03:52:26

标签: apache google-cloud-dataflow apache-beam dataflow windowing

大师 - 我是Apache Beam的新手,并试图实现,这似乎是一个非常简单的用例。我有股票数据,我需要找到过去10笔交易中股票的滚动平均价格。

现在因为没有固定的持续时间可以发生10次交易(有时可能是几毫秒,有时可能是几秒),我不认为我可以利用时间基于窗口。我有两个问题:

  1. 这是Beam的有效用例还是我错过了一点?
  2. 是否有一个相当简单/合法/非黑客的方式来编写 窗口函数/类(在python sdk中)可以基于窗口数据 记录数量?
  3. 我已经看到了在记录上伪造时间戳数据的建议,以便每个到达的记录看起来像是创建时说的相隔一秒,但我发现有两个问题:

    一个。这是一个真正的黑客解决方案,似乎是像梁这样的东西,应该是如此强大和优雅的架构

    湾使用高性能Beam管道(无服务器)有什么意义,如果你打算通过使用程序顺序添加假时间戳来扼杀性能

    想知道Beam中的窗口是否可能是更优雅的解决方案

0 个答案:

没有答案