Google.colab中的77Giga数据加载

时间:2018-05-30 14:16:10

标签: google-colaboratory pydrive

我有一个包含77千兆字节数据的tar.gz文件,我正在尝试将其加载到我的Google.colab中。但是我得到了

  

"跑步者死了#34;

错误然后自动重启。请任何人帮忙吗?

1 个答案:

答案 0 :(得分:1)

Google colab仅用于研究目的或用于教育目的,而非用于长时间培训。它有一些限制,最重要的是记忆。 如果您运行:

!df 

你会发现分配运行时的内存大约是45-50 GB(准确地说是47GB),你试图加载77 GB,你不希望运行时死掉吗?

如果您想使用,请尝试将数据拆分为小部件并对其进行训练,从g-drive中删除并重新加载并重复。

有关运行时硬件的更多信息,请参阅此答案

What's the hardware spec for Google Colaboratory?