有没有办法连接Spark-Sql和sqlalchemy

Question

有没有办法将Spark-Sql与sqlalchemy连接 我有使用sqlalchemy的遗留代码 我怎么能让它使用spark-sql，我可以将sqlalchemy作为spark-sql的转换层吗？

Answer 1

是的，是的， 看看这个项目 https://github.com/dropbox/PyHive

您需要做一些调整， 幸运的是，SQLAlchemy是为

构建的

Answer 2

简答：不！这就像我们可以将PostgresSQL与Spark-SQL一起使用一样。 Spark-SQL有自己的SQL方言，并遵循more Hive style。您应该将sqlalchemy代码转换为符合Spark-SQL。