Question

当Sidekiq或Resque队列没有移动时，是否有一种简单的方法来接收通知？

我们遇到问题，我们的工人随机死亡，队列最终静止不动。在我们努力解决垂死的工人问题的同时，我们希望抢占对停滞工作的支持请求。

Answer 1

我写了一个模块，定期检查工人，看看他们上次运行的时间。

我创建了一个调用killStaleWorkers（）的Cron作业。它基本上检查redis队列以查看当前工作程序开始运行的时间。在我的情况下，如果工作超过2分钟前，它意味着它陈旧，可能冻结。当发生这种情况时，你可以做几件事，比如重启sidekiq（我做过）。您可以传递任何您想要的时间，具体取决于工作通常需要多长时间。

这是我的代码。

class SidekiqDoctor
    def percentageStale(workers, staleTime, redis)
        stale = 0

        workers.each do |worker|
            key = "worker:" + worker + ":started"
            timeStarted = Time.parse(redis.get(key))

            if(timeStarted == nil)
                timeStarted = Time.now
            end

            puts "Key: " + key + ", Time started: " + timeStarted.to_f.to_s + ", Stale Time: " + staleTime.to_f.to_s

            if(timeStarted.to_f <= staleTime.to_f)
                stale = stale + 1
            end
        end

        percentage = (stale.to_f / workers.size.to_f) * 100

        return percentage
    end

    def killStaleWorkers(staleTimeAgo = 2.minutes, redis = Sidekiq.redis { |x| x })
        workers = redis.smembers("workers")
        currentMachine = Socket.gethostname
        existingWorkers = {} #key is PID, value is array of workers

        workers.each do |worker|
            tokens = worker.split(":")
            machine = tokens[0]
            pid = tokens[1].split("-")[0]

            puts "Machine: " + machine + ", PID: " + pid
            if(machine == currentMachine)
                begin
                    Process.getpgid( pid .to_i)
                    if(existingWorkers[pid] == nil)
                        existingWorkers[pid] = []
                    end

                      existingWorkers[pid] << worker

                rescue Errno::ESRCH
                    #pid doesn't exist
                    redis.srem("workers", worker)
                    puts "PID doesn't exist: " + pid
                end
            end  
        end

        pids = existingWorkers.keys
        staleTime = Time.now - staleTimeAgo

        puts "Stale time: " + staleTime.to_s
        restarted = false
        percentStale = 0

        for pid in pids
            puts "Testing PID: " + pid.to_s
            percentStale = percentageStale(existingWorkers[pid], staleTime, redis)

            puts "Stale Time %: " + percentStale.to_s
            #restart Sidekiq by touching restart.txt, which forces God to restart it
            if(percentStale >= 25)
                restartGod
                restarted = true
            end
        end

        return [restarted, percentStale]
    end



end

Answer 2

没有任何现有的工具可以监视缓慢移动/静止的队列。所以我写了一个小小的宝石，添加了一些Sidekiq中间件，并提供了一个任务，当队列开始变得陈旧时，它将向Campfire发送消息。

https://github.com/mpowered/sidekiq-nag

固定Sidekiq或Resque队列的通知

2 个答案: