ActiveRecord :: Relation#explain总是完整地运行查询

时间:2014-02-14 00:25:41

标签: ruby-on-rails postgresql activerecord explain

我正在尝试在Rails 3和4中使用explain方法来估计返回的行数,这可能是一个特别昂贵的查询。它连接3个表并导致1000万行表的表扫描,这与count()聚合相结合特别慢(数据库是Postgres 9.3)。

我的问题是这个。如果我使用内置的explain()方法,则在返回结果之前,查询总是在后台运行IN FULL。这可能需要2分钟。可能还有其他情况,我想分析的查询可能需要数小时才能运行(例如,报告)。

我有一个稍微丑陋的解决方案,我在其中执行to_sql,在前面添加“解释”,然后执行查询。这适用于Rails 3,但需要对Rails 4进行一些返工。

所以我想我的问题是这个。有没有办法让内置的AR explain()方法做我想要的,有没有其他优雅的方法来做到这一点,或者这是AR :: explain()中的一个错误,需要记录并修复一些点?

3 个答案:

答案 0 :(得分:2)

我是这样做的。 在Rails 3和4中,我为ActiveRecord :: Relation编写了一个初始化器。

首先,在Rails 3中:

class ActiveRecord::Relation
  HUGE_COUNT = 20000

  def count(column_name = nil, options = {})
    exact, has_conditions = false, false
    h = (column_name.class == Hash ? column_name : options)
    exact = h[:exact]
    has_conditions = h[:conditions]
    has_distinct = (column_name.class == String) && (column_name =~ /\bdistinct\b/i)
    h = h.except(:exact) # Remove it because super won't understand it
    column_name.class == Hash ? column_name = h : options = h
    if exact || has_conditions || has_distinct
      super
    else
      est = estimated_count
      est > HUGE_COUNT ? est : super
    end
  end

  def estimated_count
    node = connection.execute("EXPLAIN #{self.to_sql}").first
    match = node['QUERY PLAN'].match(/rows=\d+\b/)
    match ? match[0].split('=').last.to_i : 0
  end

Rails 4是相同的,除了:

  def estimated_count
    node = {}
    connection.unprepared_statement do
      node = connection.execute("EXPLAIN #{self.to_sql}").first
    end
    match = node['QUERY PLAN'].match(/rows=\d+\b/)
    match ? match[0].split('=').last.to_i : 0
  end

HUGE_COUNT很低,因为到目前为止,我发现这通常非常准确到1%或2%之内。这对我的需求来说很好,但显然这是相当危险的......

答案 1 :(得分:1)

我不确定是否有一种方法可以异步执行此操作。但是,使用 resque sidekiq 以异步方式运行查询肯定会让您受益匪浅。

这是resque的链接:

https://github.com/resque/resque

这是sidekiq的链接:

https://github.com/mperham/sidekiq

答案 2 :(得分:0)

完全运行查询的原因是ActiveRecord .explain设计用于运行查询。它与SQL EXPLAIN不同。它更像是一个SQL EXPLAIN ANALYZE

根据documentation的建议,

解释实际上是执行查询,然后询问查询计划。