如何在Kubernetes中使Jupyter Notebook内核抛出内存不足错误

Question

我正在通过Kubernetes集群为Jupyter Notebook服务。并且我设置了resources.limits来防止某人耗尽所有主机服务器的内存。

一个问题是，崩溃并自动重启后，jupyter笔记本内核在容器超出内存后不会引发任何OOM错误，这会使用户感到非常困惑。

那么在使用Kubernetes运行时如何使jupyter笔记本引发OOM错误？

Answer 1

如果只有一个特定的窗格，则可以监视事件/日志as in here：

kubectl get events --watch 
kubectl logs -f podname

话虽如此，pod lifecycle中的 all 个事件并未得到适当的报告，如kubernetes/kubernetes issue 38532和（废弃的）PR 45682中所示。
但是当OOMKilled:true放置吊舱时，您仍然应该看到docker inspect。

Answer 2

请查看这篇文章“ Jupyter notebook: memory usage for each notebook”中有关在笔记本计算机超过一定内存量时将其杀死的解决方案。

nbtop中还有一个不错的界面（如上图）。