以编程方式访问Resque失败作业队列

时间:2013-01-30 00:41:54

标签: ruby resque

如何编写代码以通过Resque故障队列并有选择地删除作业?现在我在那里遇到了一些重要的失败,穿插在反复失控的失控工作的成千上万次失败中。我想删除失控作业生成的那些。我熟悉的唯一API是排队工作。 (我将继续RTFMing,但我有点匆忙。)

3 个答案:

答案 0 :(得分:5)

您可以按照要求的方式手动修改“失败”队列,但最好编写一个自定义失败处理程序,在失败时删除/重新排队作业。

您可以找到基本故障后端here以及将失败的作业记录到Hoptoad异常跟踪服务here的实现。

例如:

module Resque
  module Failure
    class RemoveRunaways < Base
      def save
        i=0
        while job = Resque::Failure.all(i)
          # Selectively remove all MyRunawayJobs from failure queue whenever they fail
          if job.fetch('payload').fetch('class') == 'MyRunawayJob'
            remove(i) 
          else
            i = i + 1
          end
        end
      end
    end
  end
end

编辑:忘了提及如何指定此后端来处理失败。

在您的Resque初始化程序中(例如:config / initializers / resque.rb):

# Use Resque Multi failure handler: standard handler and your custom handler
Resque::Failure::Multiple.classes = [Resque::Failure::Redis, Resque::Failure::RemoveRunaways]
Resque::Failure.backend = Resque::Failure::Multiple

答案 1 :(得分:3)

我这样做是这样的:

# loop over all failure indices, instantiating as needed  
(Resque::Failure.count-1).downto(0).each do |error_index_number|     

  failure = Resque::Failure.all(error_index_number)

  # here :failure is the hash that has all the data about the failed job, perform any check you need here      

  if failure["error"][/regex_identifying_runaway_job/].present?        
    Resque::Failure.remove(error_index_number)
    # or
    # Resque::Failure.requeue(error_index_number)
  end

正如@Winfield所提到的那样,查看Resque's failure backend很有用。

答案 2 :(得分:0)

使用 bool 函数删除

我使用了高阶函数方法,评估删除失败

    def remove_failures(should_remove_failure_func)
      (Resque::Failure.count-1).downto(0).each do |i|
        failure = Resque::Failure.all(i)
        Resque::Failure.remove(i) if should_remove_failure_func.call(failure)
      end
    end

    def remove_failed_validation_jobs
      has_failed_for_validation_reason = -> (failure) do
        failure["error"] == "Validation failed: Example has already been taken"
      end
      remove_failures(has_failed_for_validation_reason)
    end