Question

我正在尝试返回过滤器查询的随机结果，以便为我的所有文档提供第一页结果的公平机会。为了避免在重复搜索过程中混淆用户（以及轻松支持分页），结果应保持当前一致。

为此，我开发了以下脚本排序查询。它将文档ID（一个guid，所以已经相当随机）与每日盐（只是一年中的当天和当前年份相结合）和哈希结果产生我期望的相当随机的字符串，只会改变为“每日盐”每天都在变化（忽略此特定查询中的无关元素，它是从代码生成的。）

{
  "from": 0,
  "size": 20,
  "sort": {
    "_script": {
      "order": "asc",
      "type": "string",
      "script": "org.elasticsearch.common.Digest.md5Hex(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "184-2013"
      }
    }
  },
  "query": {
    "filtered": {
      "query": {
        "match_all": {}
      },
      "filter": {
        "bool": {
          "must": [
            {
              "term": {
                "tag_id": "Some Tag"
              }
            },
            {
              "match_all": {}
            }
          ]
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}

灵感来自this similar question and answer

它有效，但不是很好。当我增加每日盐时，我会得到略微不同的结果，但是相同的文档会一直出现在最顶层的结果中。它们略有移动，但肯定有一致的模式。

我试图将哈希函数更改为另一个我发现的： org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH 但它给出了非常相似的常见顶级结果。

我不是加密专家所以我认为这是常见哈希函数的行为，并且必须有一些特殊的哈希函数用于基于类似输入的更多随机化结果？

是否有人熟悉ElasticSearch中可用的？我正在使用Searchbox.io（云托管弹性搜索服务），因此无法安装我自己的自定义功能。

或者我是从一个完全错误的角度来解决这个问题？

修改我只是查看了脚本生成的结果排序键，看起来脚本只应用于结果的第一页，然后对第一页进行排序（而不是应用于完整的结果集，因此更改文档）在第一页内。）

这是我的第一页结果（为简洁而编辑）。但是你可以在单独的第一页看到排序键从0c ***到fa ***，前0到20个文档，总共约200个文档。

使用'dailySalt'= 185-2013

{
"took": 2,
"timed_out": false,
"_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0
},
"hits": {
    "total": 196,
    "max_score": null,
    "hits": [{
        "fields": {
            "id": "27662ef8-d2a7-4fde-80f6-1571b83c4cde"
        },
        "sort": ["0cbf8b4e7927f0a53a5b82f2630ff9ad"]
    }, {
        "fields": {
            "id": "d9b11797-053f-495e-a676-0ec959dba879"
        },
        "sort": ["0fa8730a5239f8a3d1286cbe16619bfa"]
    }, {
        "fields": {
            "id": "482c893f-1083-4860-892e-1b25cf442199"
        },
        "sort": ["295edd71cc48ac41c5e2f91315abf5ce"]
    }, {
        "fields": {
            "id": "581fd0f1-9ecb-4e5c-920b-06413bfbf4f7"
        },
        "sort": ["4b9f0d17bc2333d13a1963b4f6afb829"]
    }, {
        "fields": {
            "id": "de3dddb8-e296-4446-ac4c-135cc925669d"
        },
        "sort": ["4c5d0bcb50f5b600e539ba46b33b1007"]
    }, {
        "fields": {
            "id": "c83ad22e-80b4-40f1-8e56-2153a1a1f9e8"
        },
        "sort": ["55efe0a692ab3205405f1c74732b8205"]
    }, {
        "fields": {
            "id": "7bd19829-4f37-4e02-9fd1-0239b8ae8db4"
        },
        "sort": ["5adcd22c7c507244d7ba382812accdf3"]
    }, {
        "fields": {
            "id": "42fcec43-851f-4133-a8db-1d2bf0b86ec8"
        },
        "sort": ["6757f46bd554e3353a2ebf35c6b3d24c"]
    }, {
        "fields": {
            "id": "e119132b-4e93-4047-8513-1ce2452f0cdd"
        },
        "sort": ["6dbcb59a2b5e91523896d57695251b29"]
    }, {
        "fields": {
            "id": "7d0acf5d-7c14-45a2-97b7-17939ff512f4"
        },
        "sort": ["9d99752ec0802e55dcfb3c83bcd2e4bb"]
    }, {
        "fields": {
            "id": "2cdc21e4-3312-460b-9a18-094e4f95a56c"
        },
        "sort": ["9dc43d1d39e64cfe04c6d7b8f565faaa"]
    }, {
        "fields": {
            "id": "0f665cb3-5648-416c-b08f-146d2a019319"
        },
        "sort": ["b61bb718fe63a287b6fcdc8bcd638604"]
    }, {
        "fields": {
            "id": "1e852d49-2b3b-4d7a-9f1b-1495b94e723e"
        },
        "sort": ["ba7ad8a3a6e195a6bc28e341f9d6965b"]
    }, {
        "fields": {
            "id": "ca2a5922-bb42-4317-b61c-129925436a1f"
        },
        "sort": ["bca0411cf8d67b4dcd5b205a5010367f"]
    }, {
        "fields": {
            "id": "b1dac760-7d73-4b60-bd6d-08ea9453e68c"
        },
        "sort": ["be3714cfb2517e98d525aaea6e40cfa5"]
    }, {
        "fields": {
            "id": "c4b08def-59db-4ac0-b16f-0c3fae4c01f2"
        },
        "sort": ["c4220b31c305d536c7a7d1639da32c66"]
    }, {
        "fields": {
            "id": "cc7ac1fd-3e88-4503-a837-2000ebb6e2d9"
        },
        "sort": ["ceb5710fe2418fe3b353bf7b1f737570"]
    }, {
        "fields": {
            "id": "5a5f90c9-b44f-4ca2-9d16-117c8e9fd388"
        },
        "sort": ["dc5fea76598633cb08c1459983ebca62"]
    }, {
        "fields": {
            "id": "6d811d5b-4138-4a41-a186-1b9aa2b65623"
        },
        "sort": ["ea3c55ac123ac9e819b145402407d1de"]
    }, {
        "fields": {
            "id": "b489d2da-b4a1-44de-acde-219109edd42f"
        },
        "sort": ["fab53cc11983b45b081d4b01df555c59"]
    }]
}
}

Answer 1

MD5是cryptographic hash function，此类函数展示了一个名为avalanche effect的属性。简而言之，即使输入的微小变化也会完全改变输出。例如，您可以使用在线MD5计算器对此进行试验。

There are no chance collisions - 即使你花了一辈子的时间试图找到它们，你也找不到两个散列到相同值的字符串。

这两个属性保证您编写的脚本每天为每个文档永久生成一个唯一的随机值。哈希函数不是问题所在。

有多少文件？每页显示多少结果？看到什么样的模式？某个文档随机出现在首页上的可能性非常大。

Answer 2

所以看起来这是Elastic Search的脚本排序问题。它只是将脚本应用于第一页结果，然后仅对该1页进行排序。我无法在任何地方找到这种行为，所以不确定这是出于性能原因的错误还是设计。

无论如何，使用custom_score查询，使用类似的得分函数脚本，给出了所需的结果（由于速度，我使用DJB哈希而不是原始MD5，为字符串设计，并返回一个int，这是自定义分数脚本所需的：

{
  "from": 0,
  "size": 20,
  "query": {
    "custom_score": {
      "script": "org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "185-2013"
      },
      "query": {
        "filtered": {
          "query": {
            "match_all": {}
          },
          "filter": {
            "bool": {
              "must": [
                {
                  "term": {
                    "tag_id": "Some Tag"
                  }
                },
                {
                  "match_all": {}
                }
              ]
            }
          }
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}

ElasticSearch每天一致的排序顺序，但是在几天内随机排列

2 个答案: