基于100加权的Elasticsearch随机选择

Question

我已经运行Rails站点两年了，并且根据重量字段从数据库中提取了一些文章。数据结构为：

{name: 'Content Piece 1', weight: 50}
{name: 'Content Piece 2', weight: 25}
{name: 'Content Piece 3', weight: 25}

我最初编写的Ruby代码如下所示：

choices = []
sum = articles.inject(0.0) { |sum, article|
  sum += listing['weight']
}
pick = rand(sum)
choices << articles.detect { |listing|
  if pick <= listing['weight']
    true
  else
    pick -= listing['weight']
    false
  end
}

在拉出每个内容块并尊重重量时效果很好。在整个数据集上运行此代码100次之后，根据权重，我多次获得了相当不错的内容：

100.times do
  choices = []
  sum = articles.inject(0.0) { |sum, article|
    sum += listing['weight']
  }
  pick = rand(sum)
  choices << articles.detect { |listing|
    if pick <= listing['weight']
      true
    else
      pick -= listing['weight']
      false
    end
  }
end

{:total_runs=>100, "Content Piece 1"=>51, "Content Piece 2"=>22, "Content Piece 3"=>27}
{:total_runs=>100, "Content Piece 1"=>53, "Content Piece 2"=>30, "Content Piece 3"=>17}

此刻，我开始更频繁地使用ElasticSearch，希望我可以索引ES中的数据并根据权重提取内容。

我发现有一篇SO帖子谈论的是非常相似的内容，可以在这里找到：

Weighted random sampling in Elasticsearch

我已经拉过搜索查询并对其进行了更改以匹配我的数据结构：

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "random_score": {}
        },
        {
          "field_value_factor": {
            "field": "weight",
            "modifier": "none",
            "missing": 0
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

此查询肯定会尊重权重，并且将权重为50的内容片比权重为25的其他2个内容片要多得多，但不会分配总权重为100的内容，如果有道理。我运行此查询100次，并得到如下结果：

{:total_runs=>100, "Content Piece 1"=>70, "Content Piece 2"=>22, "Content Piece 3"=>8}
{:total_runs=>100, "Content Piece 1"=>81, "Content Piece 2"=>7, "Content Piece 3"=>12}
{:total_runs=>100, "Content Piece 1"=>90, "Content Piece 2"=>3, "Content Piece 3"=>7}

由于我是ES新手，还在学习查询，评分等方面的来龙去脉，所以我想知道是否有人可以提供一种解决方案来更模仿我编写的Ruby代码，以便根据权重更有效地分发内容数量之100。Painless脚本可用于移植Ruby代码吗？

我希望这是有道理的，如果您还有其他问题可以帮助解释我要达到的目标，请告诉我。谢谢！

Answer 1

您的elasticsearch查询正确，您不需要脚本即可执行所需的操作。这只是概率问题。为了简短回答，将权重为50乘以40的乘数（field_value_factor和权重为25乘以30的乘数，您将得到预期的结果。

基本上，问题在于，将随机值乘以权重并不会产生权重为乘数的加权分布。乘数可以从权重中得出，但是不相同。

我可以给你举个例子。对于权重50，如果随机值大于0.5，则它必然具有最高分数（0.5 * 50> = 1 * 25）。由于值为0.5（概率为50％），因此您现在可以确定重量为50的项目将至少返回一半的时间。

但是，即使权重50的随机值低于0.5，仍可以选择它。实际上，在这种情况下选择它的概率是1/3。

我对您的结果感到有些惊讶，因为它的概率应该更像是66％（即50％+ 50％/ 3），而其他概率应该在16.5％左右。可以肯定地尝试增加运行次数。

使用script_score的任意重量的解决方案

您无需使用此解决方案计算乘数，但必须为每个文档提供一个范围，例如min_value和max_value。 max_value是min_value和文档权重的总和，而min_value是先前文档的权重的累积总和。

例如，如果您有4个文档，权重分别为5、15、30、50，则范围可以是：

• 权重为5的文档：min_value = 0，max_value = 5
• 权重为15的文档：min_value = 5，max_value = 5 + 15 = 20
• 权重为30的文档：min_value = 20，max_value = 20 + 30 = 50
• 权重为30的文档：min_value = 50，max_value = 50 + 50 = 100

对应的elasticsearch查询是

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "script_score": {
               "script" : {
                    "params": {
                        "random": <RANDOM_VALUE>,
                    },
                    "source": "params.random >= doc['min_value'].value && params.random < doc['max_value'].value ? 1 : 0"
                }
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

查询中的random参数应针对每个请求进行计算，并且必须在0到所有权重之和之间（在您的情况下为100，但不一定是）。

这种方法的问题在于，如果更改权重，则必须更新所有文档的范围，因为累计和会发生变化。如果您最多有20个文档，并且经常不更新权重，那么这应该不是问题。