AWS Sagemaker内核似乎已死亡并重新启动

Question

尝试从包含100页的API检索数据时出现内核错误。数据量巨大，但在Google Colab或本地计算机上执行时，代码运行良好。

我在窗口中看到的错误是-

重启内核 内核似乎已经死亡。它将自动重启。

我正在使用ml.m5.xlarge机器，其内存分配为1000GB，并且实例中没有预先保存的数据集。另外，预期的数据大小约为60 GB，分为多个每个4 GB的数据集。

有人可以帮忙吗？

Answer 1

我认为您可以尝试不将所有数据加载到内存中，或者尝试切换到更强大的实例类型。根据{{​​3}}，ml.m5.xlarge具有15GB内存。

6月