Question

我正在尝试运行 Python（版本2.7.1'）脚本，其中我正在使用 pymysql软件包从CSV文件向数据库创建表

它在我的本地系统中正常运行，但是，当在 Google Cloud Dataflow 中作为管道的一部分运行相同的脚本时，会出现问题。

我的Python函数如下：

class charge_to_db(beam.DoFn):
    def process(self, element):
        import pymysql

        with open(element, 'r') as f:
            data = f.read().decode("UTF-8")

        datalist = []
        for line in data.split('\n'):
            datalist.append(line.split(','))

        db = pymysql.connect(host='IPadress', user='root', password='mypassword', database='stack_model')

        cursor = db.cursor()
        cursor.execute("DROP TABLE IF EXISTS stack_convergence")

        # create columnn names from the first line in fList
        up = "upper_bnd"
        primal = "primal"
        d = "dualit"
        gap = "gap_rel"
        teta = "teta"
        alpha = "alpha"
        imba = "imba_avg"
        price = "price_avg"
       # create STUDENT table // place a comma after each new column except the last
       queryCreateConvergenceTable = """CREATE TABLE stack_convergence(
                                {} float not null,
                                {} float not null,
                                {} float not null,
                                {} float not null,
                                {} float not null,
                                {} float not null,
                                {} float not null,
                                {} float not null )""".format(up, primal, d, gap, teta, alpha, imba, price)

        cursor.execute(queryCreateConvergenceTable)

在云中运行此功能时，出现以下错误：

  RuntimeError: OperationalError: (2003, 'Can\'t connect to MySQL server on \'35.195.1.40\' (110 "Connection timed out")')

我不知道为什么会发生此错误，因为它在本地系统中正确运行，因此从本地系统我可以访问我的云SQL实例，但不能从云中的数据流访问。

为什么会发生此错误？

Answer 1

在Dataflow上，您不能将IP列入白名单以使Dataflow能够访问SQL实例。如果要使用Java，最简单的方法是使用JdbcIO / JDBC套接字工厂。

但是，由于您使用的是Python，因此使用特定于Python的数据库连接功能模仿JdbcIO.read（）的实现将有所帮助。在更改了某些Cloud SQL设置并添加了相关的python代码之后，this related question和workaround一起出现了。

如果这看起来很复杂，您也可以export data from Cloud SQL to Cloud Storage，然后从Cloud Storage加载。

RuntimeError：OperationalError：（2003，无法在“实例的IP地址”上连接到MySQL服务器

1 个答案: