Question

基本上，我有8千兆字节的CSV数据，我想随机随机播放，以便我可以在ML模型中进行小批量处理。但是，如果我将8gb的数据直接加载到Python中并将其洗牌，那么似乎存在内存问题。

但是，如果我按块加载数据块然后将其洗牌，那么数据仍然处于相同的模式，因为它最初是排序的。这是我到目前为止所做的。

import pandas as pd
import numpy as np

// get data with size equal to CHUNK_SIZE
reader = pd.read_csv(path , header=0, iterator=True)
data = reader.get_chunk(CHUNK_SIZE)

// randomly shuffle
data = np.random.shuffle(data)

有什么办法可以快速有效地完成吗？谢谢。

更新：我有大约30,000,000行，并且已按时间排序。

Answer 1

这是一个概念......

使用Perl生成30,000,000行CSV - 在我的Mac上需要11秒：

perl -E 'for($i=0;$i<30000000;$i++){say "Line $i,field2,field3,",int rand 100}' > BigBoy.csv

示例输出

Line 0,field2,field3,49
Line 1,field2,field3,6
Line 2,field2,field3,15
...
Line 29999998,field2,field3,79
Line 29999999,field2,field3,19

占据1％的线并将它们洗牌 - 需要3秒和15MB的RAM：

awk 'rand()>0.99' BigBoy.csv | gshuf > RandomSet.csv

RandomSet.csv包含299,748行：

示例输出

Line 15348259,field2,field3,95
Line 1642442,field2,field3,93
Line 29199452,field2,field3,52

使用自制程序：

在Mac上安装

gshuf

brew install coreutils

在Python中加载并随机随机播放8千兆字节的csv数据

1 个答案: