将SQL中的数百万个数据作为数据帧加载到python中时出错

时间:2019-07-03 08:06:03

标签: python sql pandas dataframe

我正在尝试从SQL Server加载数百万个数据,该数据不断更新。

我使用pymssql并尝试了块大小调整。不幸的是,该代码无法正常工作。无法读取数据。

QUERY_CF = """
SELECT 
[mf].[ACCTNO],
[mf].[SUBC],
[mf].[COMPANYNO],
[mf].[YYYY-MM],
[mf].[CURRENCY],
[mf].[REVENUE],
[mf].[TOTAL_COST] as COST,
[mf].[GROUP],
[mf].[PARTNUMBER],
[mf].[SUBP],
[mf].[WO_PARTNUMBER],
[mf].[WO_SUBP]

FROM Master_Customer_Financials as mf with (nolock)


"""

conn = pymssql.connect(server=SERVER, user=USER, password=PASSWORD, database=DATABASE, port=PORT)
df1 = pd.read_sql(QUERY_CF, conn, chunksize = 1000000)
df1 = pd.concat(df1)
conn.close()
display(df1.head())
pd.set_option('display.max_columns', 999)

每次运行代码时juypter笔记本都会崩溃。

0 个答案:

没有答案