添加另一个节点后,Cloud Composer抛出InvalidToken

时间:2018-11-14 00:10:02

标签: google-cloud-platform airflow google-cloud-composer

我最近在生产气流中添加了一些新的DAG,因此决定扩大Composer池中的节点数量。这样做之后,我得到了错误:Can't decrypt _val for key=<KEY>, invalid token or value。现在,每个使用变量的DAG都会发生这种情况。密钥也不相同,取决​​于DAG需要哪些变量。

我立即将Composer缩小到3个节点,问题仍然存在。

我尝试过重新保存所有变量,在UI中重新创建它们(说它们都是有效的),在CLI中重新创建它们(每个单独的列表列出invalid)。

我还尝试过更新配置,以尝试重新引导服务器,并手动停止VM实例。

Composer似乎也无法更新Fernet Key,因此我无法尝试使用新的密钥。由于某种原因,似乎已经为Composer分配了一个永久性名称。

除了重建环境之外,还有其他方法可以解决该问题吗?

1 个答案:

答案 0 :(得分:0)

我设法通过添加新的python包来解决此问题。看来,添加软件包是真正“重新引导”环境的唯一方法。重新启动完成后,我的所有变量和连接都失效了,但是我可以将它们重新添加回来,而不必重新创建整个环境。

回想一下有关此问题的信息:据Google称,Composer为环境创建了一个自定义图像,并将其传递给每个节点,如果在缩放过程中该图像被损坏,则解决该问题的唯一方法是添加新的python包,它重建图像。顺便说一下,Composer的1.3.0版本要好得多,因为调度程序每10分钟重新启动一次,这应该可以解决我遇到的一些后继问题。