熊猫可以使用Concat处理大型CSV文件吗？ -合并CSV文件

Question

这是结合CSV文件的代码， 它可以处理大型CSV文件吗？

import pandas as pd
import sys
import glob

li = []

for filename in sys.argv[1:]:
    df = pd.read_csv(filename, index_col=None, header=0)
    df['filename']=str(filename)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

frame.to_csv('combinedFILE.csv')