我目前有一些查询mysql的代码。我想将此代码作为DataFlowRunner中Apache Beam Pipeline的一部分运行。每次我尝试集成MysqlDB时,作业都会挂起。在DirectRunner上以及在添加MySQLDB依赖项之前,它都可以正常工作。
这是我的setup.py
我已在似乎导致DataFlowRunner挂起的行中添加了注释。
我尝试仅使用apt-get
和pypi
依赖项来运行示例单词计数。
预期结果是能够添加MySQL deps,并且仍然能够运行wordcount示例。
更新:有关我最终的工作,请参见README。
答案 0 :(得分:0)
对于其他人,如果您使用的是SQLAlchemy,只需使用mysql + pymysql作为URL。如果您不使用ORM,请使用pymysql。