Question

有人可以向我指出如何解决以下问题的正确方向。我正在尝试使用pandas.read_sql和asyncio提出解决方案。我想将表记录从1个数据库迁移到另一个数据库。

我要执行以下操作：

table 1
.
.
.
table n

我具有以下功能：

def extract(table):
    try:
        df = pd.DataFrame()
        df = pd.concat(
              [chunk for chunk in
                  pd.read_sql(sql,
                              con=CONNECTION,
                              chunksize=10**5)]
                    )
    except Exception as e:
        raise e
    else:
        return df

我想并行运行这些文件，而不是一个一个地运行。

extract(table1)
extract(table2)
.
.
extract(tablen)

Answer 1

asyncio是关于将非阻塞代码组织到回调和协程中。并行运行CPU密集型代码是线程的用例：

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor() as executor:
    frames = list(executor.map(extract, all_tables))

此操作实际上是否比顺序代码运行得更快，取决于pd.read_sql是否释放GIL。

ASYNC-熊猫read_sql和asyncio吗？

1 个答案: