我正在尝试从SQL Server加载数百万个数据,该数据不断更新。
我使用pymssql并尝试了块大小调整。不幸的是,该代码无法正常工作。无法读取数据。
QUERY_CF = """
SELECT
[mf].[ACCTNO],
[mf].[SUBC],
[mf].[COMPANYNO],
[mf].[YYYY-MM],
[mf].[CURRENCY],
[mf].[REVENUE],
[mf].[TOTAL_COST] as COST,
[mf].[GROUP],
[mf].[PARTNUMBER],
[mf].[SUBP],
[mf].[WO_PARTNUMBER],
[mf].[WO_SUBP]
FROM Master_Customer_Financials as mf with (nolock)
"""
conn = pymssql.connect(server=SERVER, user=USER, password=PASSWORD, database=DATABASE, port=PORT)
df1 = pd.read_sql(QUERY_CF, conn, chunksize = 1000000)
df1 = pd.concat(df1)
conn.close()
display(df1.head())
pd.set_option('display.max_columns', 999)
每次运行代码时juypter笔记本都会崩溃。