如何将大型数据集连接到数据帧熊猫

Question

所以我正在处理一个相当大的CSV数据集，它有几百兆字节。我设法以块（~100行）读取数据。 然后我如何优雅地将这些块转换为数据帧并将describe函数应用于它？ 谢谢

Answer 1

如果参数TextFileReader带有concat，那么chunksize对象似乎需要read_csv的输出{<3}}：

df = pd.concat([x for x in pd.read_csv('filename', chunksize=1000)], ignore_index=True)
df = df.describe()
print (df)