如何处理apache beam

时间:2018-05-02 12:36:04

标签: google-cloud-platform apache-beam

在我想要实现的几个apache beam管道中,我需要对同一app引擎项目中的另一个服务进行http调用。 我们通常处理这种情况的方法是获取访问令牌,并在每次到期时刷新(例如,每小时)。

然而,在apache beam中,我无法真正定义一个返回/刷新访问令牌的类,并且可以从ParDo中访问。 每当我进入DoFn的过程()部分时,我当然可以得到一个新的,但这看起来很糟糕。

是否有推荐的方法来解决这个问题?我在考虑使用侧输入,但我不确定这是否真的能解决它。

(如果可能,该解决方案应适用于流式和批量作业)

如果这是相关的(但我不应该这样),我正在使用python sdk。

0 个答案:

没有答案