随机播放由块加载的数据帧

时间:2020-02-02 18:51:49

标签: python pandas

我使用非常大的数据集,因此需要按块加载它:

chunks = pd.read_csv("data.csv", chunksize = 32)

然后,每次需要新块时,都可以使用next(chunks)

但是熊猫依序读取这些块。

我想随机读取这些块,这可能吗?

无法使用chunks.sample(frac=1),因为pd.read_csv(chunk_size=...返回TextFileReader而不是DataFrame

0 个答案:

没有答案