如何更改Docker堆栈重启行为?

时间:2018-10-24 13:04:11

标签: docker docker-compose docker-stack

在我们的项目中,我们继承了带有一些服务堆栈的Docker环境。

我注意到Docker在遇到内存限制后会重新启动堆栈。

不幸的是,根据我在Docker网站上的问题,我尚未找到任何信息,所以我在这里询问:

  1. 此行为是否可配置?例如,我不希望Docker 在任何情况下都重新启动堆栈。如果它是可配置的, 那怎么办
  2. 是否有任何docker日志来保持堆栈在输入时重新启动?

2 个答案:

答案 0 :(得分:8)

  
      
  1. 此行为是否可配置?例如,在任何情况下我都不希望Docker重新启动堆栈。如果它是可配置的,那怎么办?
  2.   

对于版本3堆栈,重新启动策略已移至deploy部分:

version: '3'
services:
  crash:
    image: busybox
    command: sleep 10
    deploy:
      restart_policy:
        condition: none
        # max_attempts: 2

有关此文档,请访问:https://docs.docker.com/compose/compose-file/#restart_policy

  
      
  1. 是否有任何docker日志来保持堆栈在输入时重新启动?
  2.   

根据任务历史记录限制(可通过docker swarm update配置,您可以查看以前为服务运行的任务:

$ docker service ps restart_crash
ID                  NAME                  IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
30okge1sjfno        restart_crash.1       busybox:latest      bmitch-asusr556l    Shutdown            Complete 4 minutes ago
papxoq1vve1a         \_ restart_crash.1   busybox:latest      bmitch-asusr556l    Shutdown            Complete 4 minutes ago
1hji2oko51sk         \_ restart_crash.1   busybox:latest      bmitch-asusr556l    Shutdown            Complete 5 minutes ago

您可以检查任何一项任务的状态:

$ docker inspect 30okge1sjfno --format '{{json .Status}}' | jq .
{
  "Timestamp": "2018-11-06T19:55:02.208633174Z",
  "State": "complete",
  "Message": "finished",
  "ContainerStatus": {
    "ContainerID": "8e9310bde9acc757f94a56a32c37a08efeed8a040ce98d84c851d4eef0afc545",
    "PID": 0,
    "ExitCode": 0
  },
  "PortStatus": {}
}

泊坞窗引擎中还有一个事件历史记录,您可以查询:

$ docker events --filter label=com.docker.swarm.service.name=restart_crash --filter event=die --since 15m --until 0s
2018-11-06T14:54:09.417465313-05:00 container die f17d945b249a04e716155bcc6d7db490e58e5be00973b0470b05629ce2cca461 (com.docker.stack.namespace=restart, com.docker.swarm.node.id=q44zx0s2lvu1fdduk800e5ini, com.docker.swarm.service.id=uqirm6a8dix8c2n50thmpzj06, com.docker.swarm.service.name=restart_crash, com.docker.swarm.task=, com.docker.swarm.task.id=1hji2oko51skhv8fv1nw71gb8, com.docker.swarm.task.name=restart_crash.1.1hji2oko51skhv8fv1nw71gb8, exitCode=0, image=busybox:latest@sha256:2a03a6059f21e150ae84b0973863609494aad70f0a80eaeb64bddd8d92465812, name=restart_crash.1.1hji2oko51skhv8fv1nw71gb8)
2018-11-06T14:54:32.391165964-05:00 container die d6f98b8aaa171ca8a2ddaf31cce7a1e6f1436ba14696ea3842177b2e5e525f13 (com.docker.stack.namespace=restart, com.docker.swarm.node.id=q44zx0s2lvu1fdduk800e5ini, com.docker.swarm.service.id=uqirm6a8dix8c2n50thmpzj06, com.docker.swarm.service.name=restart_crash, com.docker.swarm.task=, com.docker.swarm.task.id=papxoq1vve1adriw6e9xqdaad, com.docker.swarm.task.name=restart_crash.1.papxoq1vve1adriw6e9xqdaad, exitCode=0, image=busybox:latest@sha256:2a03a6059f21e150ae84b0973863609494aad70f0a80eaeb64bddd8d92465812, name=restart_crash.1.papxoq1vve1adriw6e9xqdaad)
2018-11-06T14:55:00.126450155-05:00 container die 8e9310bde9acc757f94a56a32c37a08efeed8a040ce98d84c851d4eef0afc545 (com.docker.stack.namespace=restart, com.docker.swarm.node.id=q44zx0s2lvu1fdduk800e5ini, com.docker.swarm.service.id=uqirm6a8dix8c2n50thmpzj06, com.docker.swarm.service.name=restart_crash, com.docker.swarm.task=, com.docker.swarm.task.id=30okge1sjfnoicd0lo2g1y0o7, com.docker.swarm.task.name=restart_crash.1.30okge1sjfnoicd0lo2g1y0o7, exitCode=0, image=busybox:latest@sha256:2a03a6059f21e150ae84b0973863609494aad70f0a80eaeb64bddd8d92465812, name=restart_crash.1.30okge1sjfnoicd0lo2g1y0o7)

在以下位置查看有关事件命令的更多详细信息:https://docs.docker.com/engine/reference/commandline/events/

大型组织的最佳实践是将容器日志发送到中央位置(例如Elastic)并在外部监视指标(例如Prometheus / Grafana)。

答案 1 :(得分:1)

由于您尚未在自己的帖子中添加任何配置代码段或运行时命令,因此我必须对您的实际问题做出假设。

我的假设:

  • 您正在使用docker-compose运行多种服务
  • 这些服务已配置了内存限制(在docker-compose.yml文件中)
  • 一旦它们达到配置的内存限制,您会看到它们重新启动,并且您希望阻止它们重新启动

我假设您的docker-compose.yml如下所示:

version: '2.1'
services:
   service1:
     image: some/image
     restart: always
     mem_limit: 512m
   service2:
     image: another/image
     restart: always
     mem_limit: 512m

使用这种配置,当内核尝试使用超过512Mb的内存时,任何服务容器都会被内核杀死。然后,Docker将自动重启一个新的容器来替换被杀死的容器。

因此,回答您的第一点是的,是的,只需将“重新启动”更改为“否”,或简单地删除此行(因为“ no”是此参数的默认值)。关于第二点,只需在docker daemon日志中查找服务重启。

但是,如果您需要的是保持服务正常运行,那么这将无济于事:您的服务仍将尝试使用超出其允许的内存限制的内容,但仍将被终止,...自动重新启动。

最好检查一下服务的内存使用模式,并了解为什么他们尝试使用超出配置限制的内存。最终,解决方案是将服务配置为使用更少的内存,或者在docker-compose.yml中提高mem_limit

例如:

  • 对于数据库服务,配置内存选项以强制引擎使用的内存不超过mem_limit(Oracle下的SGA和PGA,MySQL / MariaDB的各种缓冲区和缓存大小,...)
  • 对于Java应用程序,将Xmx配置为小于mem_limit(请记住对非堆内存的需求),或者最好使用最新的JDK(最新的8或9+)作为-XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap

我希望这会对您有所帮助;更准确地说,我真的需要更多上下文。