Pytorch两次遍历数据加载器

时间:2020-04-21 16:35:58

标签: deep-learning pytorch

假设我有一个数据加载器(加载器),它返回以下形状的数据:[BatchSize,1024] 我有10000个样本,并且我想构建一个形状为(10000,10000)的得分矩阵,以使条目[i,j]表示样本i和样本j之间的得分,到目前为止,我是通过以下方式做到的(设置batchsize = 1)

   d = numpy.zeros((10000 , 10000))
   for i, sample_i  in tqdm(enumerate(loader)):
     for i, sample_j  in tqdm(enumerate(loader)):
       d[i][j] = calculate_somre_score(sample_i , sample_j)

但是这需要很多时间,我敢肯定有一些好的方法可以减少时间。 谢谢 最好的

0 个答案:

没有答案