Question

我使用What is the ...?处理程序问/fcselect而没有排名ID，并获得了以下文档：

"docs": [
  {"id": "100"},  // ranked first
  {"id": "101"},  // ranked second
  ...
  {"id": "198"},  // ranked second from last (99th)
  {"id": "199"}   // ranked last (100th)
]

然后，我使用以下基本事实创建了一个排名：

What is the ...?,199,5,198,4
...

然后，我与排名员一起使用/fcselect处理程序询问 *同一问题* 并获得以下文档：

"docs": [
  {"id": "100"},  // ranked first
  {"id": "101"},  // ranked second
  ...
  {"id": "199"},  // ranked 30th
  ...
  {"id": "198"}   // ranked 35th
  ...
]

但我希望如下顺序：

"docs": [
  {"id": "199"},  // ranked first
  {"id": "198"},  // ranked second
  {"id": "100"},  // ranked third
  {"id": "101"}   // ranked 4th
  ...
]

排名是否经过适当的训练？

Answer 1

请点击此处查看类似问题的答案：https://developer.ibm.com/answers/questions/317822/4-stars-answers.html。

通过学习排名的方法，肯定无法保证排名者会移动标记为“正确”的答案。在地面真相到搜索结果的顶部。这是因为排名者没有记忆正确答案，而是希望捕获捕获查询和搜索结果之间重叠的特征值分布中的概括。为了验证排名培训是否符合预期，您可以测量大量查询的前1个结果准确性（与培训期间使用的查询不同），并检查平均的改进。

也就是说，排名前两位的搜索结果根本没有改变以响应排名训练，这当然很奇怪。在实验中需要考虑的一些事项，以提高性能：

传递给排名器的行数是否足够高（在您的示例中，参数应设置为至少100，因为默认值为10）。
在排名训练期间（准备地面实况文件时）中包含的行数是否与运行时期间包含的行数相同（它们应匹配以获得最佳性能）以及它可以为您设置的设置调整性能）？
查询与正确的答案文件之间是否存在词汇差距，这可能会使排名者感到困惑？可以将同义词/停用词删除/小写/词干等结合到您的索引/查询分析器中，以改善查询和正确答案之间的重叠吗？
您是否可以在培训和运行期间添加并传递给排名者的其他功能，以便更好地捕获搜索结果中的问题和候选答案之间的重叠？有关详细信息，请参阅此处：https://medium.com/machine-learning-with-ibm-watson/developing-with-ibm-watson-retrieve-and-rank-part-3-custom-features-826fe88a5c63?cm_mc_uid=06908383978514879641730&cm_mc_sid_50200000=1488383112#.gtzsdg4k3

我的排名是否训练有素？

1 个答案: