因此,我正在尝试下载此数据集:https://data.broadinstitute.org/bbbc/BBBC006/ 而且我有一个python脚本,可提取zip并将其提取到本地。它可以在我的本地计算机上运行,但是每个都超过1GB,我不想将其存储在本地。当我尝试将34个文件夹加载到具有50GB内存的Google云上时,它每次都在第9个文件夹附近崩溃,并出现memoryerror。 如果有个朋友告诉我,我需要先将它们加载到存储中,然后将它们按集合放入虚拟机中,但对云基础架构的了解还是很多,并且可以使用一些指针。
规格: 34个文件夹(来自网站) 每个1GB + 压缩文件 在Google云上
谢谢!