要获取批量大小数据,我按如下方式实现代码:
def load_sample(batch_size, f_pos):
polist = []
for i in range(batch_size):
line = f_pos.readline().strip()
if not line:
break
polist.append(line.strip('\n').strip().split())
data = np.array(polist, dtype=np.float32)
return data
f = open('file.txt')
batch_size_data = load_sample(batch_size, file)
我发现在进入dict之前加载样本的过程需要很长时间,大约50s,而整个时期是80s。
如何优化此功能以及哪一部分耗时?