并行化pandas pyodbc SQL数据库调用

时间:2015-08-21 08:56:29

标签: python sql multithreading pandas pyodbc

我目前正在通过pandas.io.sql.read_sql()命令将数据查询到数据框中。我希望将这些调用的并行化方式类似于这些人所倡导的:(Embarrassingly parallel database calls with Python (PyData Paris 2015 )

像(非常一般)的东西:

pools = [ThreadedConnectionPool(1,20,dsn=d) for d in dsns]
connections = [pool.getconn() for pool in pools]
parallel_connection = ParallelConnection(connections)
pandas_cursor = parallel_connection.cursor()
pandas_cursor.execute(my_query)

这样的事情可能吗?

0 个答案:

没有答案