Question

假设我有一个包含5行的csv文件。

现在我使用2的chunksize迭代这个文件。

data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2)

假设我在这个数据块上做了一些魔术并将它附加到另一个csv文件。

processed_data.to_csv(fname, index=None, mode="a")

问题：最后一行未写入。

我不知道如何解决这个问题。有人可以帮忙吗？

我需要使用块，因为我没有足够的 RAM 。

我无法使用chunksize=1，因为打开/关闭文件太耗时。

Answer 1

如果你的内存不足，我会对这类数据使用大火。 https://blaze.readthedocs.io/en/latest/ooc.html

然后你不必乱用chunksize。