信息：任务[任务]：[PID]被阻止超过120秒

Question

我有一台Kubernetes服务器，并且最近遇到了一个主要问题，它在那里停了几个小时。原因是非常欺骗，我将在下面分享答案。

为了给出一些上下文，我可以启动服务器并登录。大约15秒后，一切都会挂起并出现错误，

INFO: task [TASK]:[PID] blocked for more than 120 seconds

会弹出

。

在此之前，我收到以下错误消息，

IPv6: ADDRCONF(NETDEV_UP): docker0: link is not ready

我修复的方式是我登录并输入，

sudo systemctl disable docker

当我尝试使用sudo systemctl stop docker时，它花了太长时间并且会挂起，所以我决定要禁用它然后重新启动。

之后的消息，

INFO: task [TASK]:[PID] blocked for more than 120 seconds

不断弹出。这不是一个特定的任务（通常我发现它是task cron:...）因此我意识到某些东西阻止了我的IO，我需要在它杀死我的会话之前杀死它。

Answer 1

我发现解决方案是我的备份软件正在运行并且完全破坏了我的磁盘IO。幸运的是，我安装了iotop，它向我展示了我的硬盘驱动器上有500M / s的读/写功能，这真的是推动它。

所以我做的是我停止了我的备份服务，一切都已整理好了。现在我知道这可能与你的情况不一样，但是，你可以使用相同的方法。

1. 登录并查找正在耗尽所有磁盘IO的进程。
2. 终止流程或结束服务。
3. 在下次启动时启动服务（如果它是服务）。
4. 查找是否存在已知错误或获得支持，并找到一种方法来限制该进程/服务的IO，以便它不会再次导致相同的问题。