使用pandas更改列名来读取大型CSV文件?

时间:2017-11-05 18:00:12

标签: python python-2.7 python-3.x pandas csv

我正在尝试使用以下代码使用pandas读取4GB CSV文件:

tp = pd.read_csv('train.csv', sep='\t', iterator=True, chunksize=10000)
train = pd.concat(tp, ignore_index=True)

使用此功能后,我可以阅读csv,但在使用时: (train.shape)它显示的列数为“1”,但有24列。 我也尝试使用sep作为','但这样做会让我在控制台上的optput被杀死。我正在使用带有8GB RAM的GC实例,所以没有问题。此外,如果我尝试使用以下方式阅读CSV:

pandas.read_csv("train.csv")

这失败了因为我在stackoverflow上推荐了各种其他问题,建议我以块的形式读取数据。

0 个答案:

没有答案