在我想要实现的几个apache beam管道中,我需要对同一app引擎项目中的另一个服务进行http调用。 我们通常处理这种情况的方法是获取访问令牌,并在每次到期时刷新(例如,每小时)。
然而,在apache beam中,我无法真正定义一个返回/刷新访问令牌的类,并且可以从ParDo中访问。 每当我进入DoFn的过程()部分时,我当然可以得到一个新的,但这看起来很糟糕。
是否有推荐的方法来解决这个问题?我在考虑使用侧输入,但我不确定这是否真的能解决它。
(如果可能,该解决方案应适用于流式和批量作业)
如果这是相关的(但我不应该这样),我正在使用python sdk。