我在具有400万行和29列的数据集上使用google colab。当我运行语句sns.heatmap(dataset.isnull())时,它将运行一段时间,但一段时间后会话崩溃,实例重新启动。它发生了很多事情,直到现在我还没有真正看到输出。可能是什么原因?数据/计算是否过多?我该怎么办?
答案 0 :(得分:3)
我不确定是什么原因导致了您的特定崩溃,但是常见原因是内存不足错误。听起来您正在使用足够大的数据集,这很有可能。您可以尝试使用数据集的子集,看看错误是否再次发生。
否则,CoLab会将日志保留在/var/log/colab-jupyter.log
中。通过打印其内容,您也许可以对正在发生的事情有更多的了解。要么运行:
!cat /var/log/colab-jupyter.log
或者,仅获取消息(更易于阅读):
import json
with open("/var/log/colab-jupyter.log", "r") as fo:
for line in fo:
print(json.loads(line)['msg'])
答案 1 :(得分:1)
另一个原因-如果您使用的是PyTorch并将模型分配给GPU,但没有将内部张量分配给GPU(例如隐藏层)。
答案 2 :(得分:0)
对我来说,将特定的参数传递给tfms扩充模块会使数据加载器失败,从而使会话中断。 浪费大量时间检查图像是否不正确并清洁gc等...