如何将Airflow应用程序与Sentinel隧道集成,以便从Redis Sentinel获取更新的主名称

时间:2018-09-19 18:08:32

标签: redis airflow redis-sentinel

使用3个AWS Redis实例(1个主节点和2个从节点-所有安装了 Redis和Redis Sentinel 的节点),3个前哨和Airflow容器化应用。

气流配置包含Redis主信息,因此当启动气流调度程序和工作程序并且正在更新主服务器和与主服务器同步的从服务器上的密钥时,它可以正常运行。但是,当主节点发生故障时,Redis哨兵将选举新的主节点,但是airflow.cfg文件中不会更新新的主节点信息。

发现了 Sentinel Tunnel ,可以帮助更新新的主信息,但是我需要在配置Redis Tunnel到我的应用程序方面的帮助。

如何进一步进行?  1.在所有Redis节点上安装隧道吗?  2.在具有特定端口打开的单独AWS实例中安装?  3.在单独的容器上安装隧道?  4.在运行应用程序的容器上安装?

需要进一步的步骤帮助,以便在使用 Redis Sentinel AIRFLOW 应用程序中包含 Sentinel Tunnel

0 个答案:

没有答案