while 1:
lines = cur.fetchmany(pageSize)
if len(lines)==0:
break
df.append(lines)# method1:df never change
df = df.append(lines)# method2:df change but too many memory used.
我将一个包含40列和大约2M记录的表加载到df中,我只有8G内存。现在我使用csv文件解决方案,但它需要更多时间。 我想知道有没有像method1这样的方法,Pandas真的只是将数据附加到数据帧而没有任何副本?