如何使用python打开大型文件（9gb）？

Question

我需要分析数据，但文件是9Gb。当我尝试打开它时，Python被中断并返回MemoryError。

data = pd.read_csv("path.csv") 有没有办法解决这个问题，或者我应该删除这个文件？

Answer 1

如EdChum所述，我使用chunksize=n以块的形式打开大文件，然后循环遍历块以执行您需要的任何操作。在每个“数据块”中指定所需的行数，并按如下方式打开：

chunks = 100000
data = pd.read_csv("path.csv", chunksize=chunks)
for chunk in data:
    print "something"

希望这会有所帮助：）