Cloud Composer Worker无法连接到外部数据库

时间:2020-10-29 20:53:33

标签: google-cloud-platform airflow google-kubernetes-engine google-cloud-composer pymssql

我正在尝试使用现有的云编写器环境并连接到远程SQL数据库(Azure SQL)。我已经为此努力了几天,希望有人能指出我的问题所在。

按照找到的文档here,我改进了GKE服务和SQL代理工作负载。然后,我使用服务azure-sqlproxy-service的全名创建了一个新的气流连接,如下所示:

enter image description here

我测试了运行DAG任务之一并获得以下信息:

无法连接:Adaptive Server不可用或不存在

不确定这个问题,我决定直接远程进入其中一个工作服务器,将远程数据库防火墙上的IP列入白名单,然后尝试连接到服务器。在没有安装命令行MSSQL客户端的情况下,我在worker上启动python并尝试使用以下命令连接到数据库:

connection = pymssql.connect(host='database.url.net',user='sa',password='password',database='database')

从上面我收到与服务和作为主机输入的远程IP相同的错误。即使忽略服务/代理,该气流工作人员是否也不能访问远程数据库?我可以ping网站,但检查远程日志时,数据库没有显示任何失败的登录。由于存在一般性错误,关于下一步操作的想法并不多,我陷入了困境。谷歌的一些结果建议更换库,但我不确定如何或者甚至不需要在气流中进行。

接下来我该采取什么故障排除步骤,以使至少一名工作人员在继续服务/代理之前与数据库进行通信?

1 个答案:

答案 0 :(得分:0)

经过一番痛苦之后,我发现Cloud Composer使用ubuntu 1804,该软件当前按照以下方式破坏pymssql:

https://github.com/pymssql/pymssql/issues/687

我尝试降级到2.1.4,但没有成功。需要完成此操作,我已按照本文中概述的说明使用pyodbc。

Google Composer- How do I install Microsoft SQL Server ODBC drivers on environments