Question

我正在遍历一个非常大的数据帧（11361 x 22679），并使用pyplot将每一行的值转换为像素图像。因此，最后我应该具有151 x 151像素的11361张图像（我在末尾加0以使其为正方形）。 allDF是33个数据框的列表，这些数据框与图像需要保存到的newFileNames中的33个子目录相对应。

我尝试在每次迭代结束时删除每个DataFrame和图像。我试过将float值转换为int。我已经在每次迭代结束时尝试过gc.collect（）（即使我知道这是多余的）我已采取措施不通过始终参考原始数据来存储任何其他值。

唯一有用的是如果我一次处理一帧。它仍然会减慢速度，但是因为迭代次数较少，所以速度没有那么慢。因此，我认为问题是内部循环或功能之一。

def shape_pixels(imglist):
    for i in range(122):
        imglist.append(0.0)
    imgarr = np.array(imglist).reshape((151,151))
    imgarr.reshape((151,151))
    return imgarr

def create_rbg_image(subpath,imgarr,imgname):
    # create/save image
    img = plt.imshow(imgarr, cmap=rgbmap)
    plt.axis('off')
    plt.savefig(dirpath+subpath+imgname,
                transparent=True,
                bbox_inches=0,pad_inches=0)

for i in range(len(allDF)):
    for j in range(len(allDF[i])):
        fname = allDF[i]['File Name'].iloc[j][0:36]
        newlist = allDF[i].iloc[j][1:].tolist()
        newarr = shape_pixels(allDF[i].iloc[j][1:].tolist())
        create_rbg_image(newFileNames[i]+'\\',shape_pixels(allDF[i].iloc[j][1:].tolist()),allDF[i]['File Name'].iloc[j][0:36])

我希望能够为整个数据集运行代码，并在完成后再返回它，但是我将其运行了一整夜，而且还不到整个过程的1/3。如果它继续减慢速度，我将永远做不到。第一分钟生成150幅图像，第二分钟生成80幅图像。然后48、32、27等，以此类推。最终只需要几分钟就可以创建一个图像。

我不

Answer 1

plot.close（'all'）起到了很大的作用，但是我改用PIL和hexadec值，这样效率更高，我可以在20分钟内生成所有11k +图像

我的数据循环中的python循环随着时间的过去而变慢

1 个答案: