标签: python pandas
我使用非常大的数据集,因此需要按块加载它:
chunks = pd.read_csv("data.csv", chunksize = 32)
然后,每次需要新块时,都可以使用next(chunks)。
next(chunks)
但是熊猫依序读取这些块。
我想随机读取这些块,这可能吗?
无法使用chunks.sample(frac=1),因为pd.read_csv(chunk_size=...返回TextFileReader而不是DataFrame。
chunks.sample(frac=1)
pd.read_csv(chunk_size=...
TextFileReader
DataFrame