Java Apache Beam-侧面输入问题

时间:2019-06-12 13:50:18

标签: google-cloud-dataflow apache-beam dataflow

我们正在使用5分钟的FixedWindow传输数据流。我们将使用这5分钟的窗口数据来查询Google Spanner数据库,并根据结果集将其插入Spanner中的另一个表中。

因此,连同此结果集和流数据流的输入,我们需要插入到另一个表中

因此,我们正在结果集中创建一个视图,并将该视图作为侧面输入传递给下一步。

下一步,我们将在此侧面输入中进行一些处理,并将数据插入数据库中

我们正在使用SpannerIO从数据库中读取数据。

假设辅助输入中没有数据(数据库中不存在数据),即使主输入中有数据,也不会执行下一步。

但是在这种情况下,我们也需要将数据插入数据库。由于此方面的输入问题,数据流管道暂停。

0 个答案:

没有答案