我正在尝试使用以下代码使用pandas读取4GB CSV文件:
tp = pd.read_csv('train.csv', sep='\t', iterator=True, chunksize=10000)
train = pd.concat(tp, ignore_index=True)
使用此功能后,我可以阅读csv,但在使用时:
(train.shape)
它显示的列数为“1”,但有24列。
我也尝试使用sep作为','但这样做会让我在控制台上的optput被杀死。我正在使用带有8GB RAM的GC实例,所以没有问题。此外,如果我尝试使用以下方式阅读CSV:
pandas.read_csv("train.csv")
这失败了因为我在stackoverflow上推荐了各种其他问题,建议我以块的形式读取数据。