如何将一堆装满图像的zip文件夹加载到云中并按组分析它们?

时间:2019-07-11 20:57:26

标签: python image google-cloud-platform zip

因此,我正在尝试下载此数据集:https://data.broadinstitute.org/bbbc/BBBC006/ 而且我有一个python脚本,可提取zip并将其提取到本地。它可以在我的本地计算机上运行,​​但是每个都超过1GB,我不想将其存储在本地。当我尝试将34个文件夹加载到具有50GB内存的Google云上时,它每次都在第9个文件夹附近崩溃,并出现memoryerror。 如果有个朋友告诉我,我需要先将它们加载到存储中,然后将它们按集合放入虚拟机中,但对云基础架构的了解还是很多,并且可以使用一些指针。

规格: 34个文件夹(来自网站) 每个1GB + 压缩文件 在Google云上

谢谢!

0 个答案:

没有答案