我们正在生产系统上的RabbitMQ 3.6.5下运行
Erlang R16B03-1 (erts-5.10.4) [source] [64-bit] [smp:2:2] [async-threads:10] [hipe] [kernel-poll:false]
rabbitmqctl rotate_logs
失败,并显示:
Erlang VM I/O system is damaged, restart needed
查看该版本的代码,此错误仅存在于rabbit_log.erl
中:
...
%% Execute Fun using the IO system of the local node (i.e. the node on
%% which the code is executing). Since this is invoked for every log
%% message, we try to avoid unnecessarily churning group_leader/1.
with_local_io(Fun) ->
GL = group_leader(),
Node = node(),
case node(GL) of
Node -> Fun();
_ -> set_group_leader_to_user_safely(whereis(user)),
try
Fun()
after
group_leader(GL, self())
end
end.
set_group_leader_to_user_safely(undefined) ->
handle_damaged_io_system();
set_group_leader_to_user_safely(User) when is_pid(User) ->
group_leader(User, self()).
handle_damaged_io_system() ->
Msg = "Erlang VM I/O system is damaged, restart needed~n",
io:format(standard_error, Msg, []),
exit(erlang_vm_restart_needed).
因此,看来whereis(user)
返回了undefined
。
在运行相同版本的测试系统中未发生此错误,这意味着到目前为止我无法重现该错误 在非生产系统中,我可以尝试采取纠正措施。由于故障发生在生产系统中,因此关键目标是 以尽可能不破坏性的方式纠正此问题。
我希望了解这可能阻止兔子再次启动的可能性,以及是否 重新启动RabbitMQ将纠正此问题。
日志startup_err
包含:
Erlang VM I/O system is damaged, restart needed
日志rabbit@fdlquevm-sasl.log-20180710
包含:
=SUPERVISOR REPORT==== 28-Nov-2018::18:45:04 ===
Supervisor: {<0.26938.6080>,rabbit_channel_sup}
Context: shutdown_error
Reason: noproc
Offender: [{pid,<0.26217.6080>},
{name,channel},
{mfargs,
{rabbit_channel,start_link,
[1,<0.27525.6080>,<0.25586.6080>,<0.27525.6080>,
<<"40.113.233.192:3979 -> 10.0.0.4:5672">>,
rabbit_framing_amqp_0_9_1,
{user,<<"FDLMessaging">>,[],
[{rabbit_auth_backend_internal,none}]},
<<"/">>,
[{<<"publisher_confirms">>,bool,true},
{<<"exchange_exchange_bindings">>,bool,true},
{<<"basic.nack">>,bool,true},
{<<"consumer_cancel_notify">>,bool,true},
{<<"connection.blocked">>,bool,true},
{<<"authentication_failure_close">>,bool,true}],
<0.26295.6080>,<0.22812.6080>]}},
{restart_type,intrinsic},
{shutdown,70000},
{child_type,worker}]
什么会导致whereis(user)
返回未定义?
答案 0 :(得分:1)
user
进程是一个中央进程,处理与标准输出有关的大多数I / O。默认情况下,它将一直存在,除非为基础的Erlang虚拟机提供了-nouser
参数。
此过程可能失败的另一种方式是,它是否已被另一个恶意进程杀死,或被VM收获,例如使用过多的内存杀死了一个进程,或者是因为它引用了已经热加载的代码很多次,它需要清除它。
除非某人或某物愿意戳该代码,否则它基本上永远不会发生。