Cloud DataFlowRunner中的python-mysql?

时间:2019-05-18 20:48:38

标签: python google-cloud-dataflow mysql-python apache-beam

我目前有一些查询mysql的代码。我想将此代码作为DataFlowRunner中Apache Beam Pipeline的一部分运行。每次我尝试集成MysqlDB时,作业都会挂起。在DirectRunner上以及在添加MySQLDB依赖项之前,它都可以正常工作。

这是我的setup.py

我已在似乎导致DataFlowRunner挂起的行中添加了注释。

我尝试仅使用apt-getpypi依赖项来运行示例单词计数。

预期结果是能够添加MySQL deps,并且仍然能够运行wordcount示例。

更新:有关我最终的工作,请参见README

1 个答案:

答案 0 :(得分:0)

对于其他人,如果您使用的是SQLAlchemy,只需使用mysql + pymysql作为URL。如果您不使用ORM,请使用pymysql。