不相关 - FEB更新 - 改变了scorine意图 - 如何改变这个?

时间:2017-02-09 16:16:07

标签: watson-conversation

对于Watson Conversation的更新带来了一种新的得分方式......如下所述: https://www.ibm.com/watson/developercloud/doc/conversation/irrelevant_utterance.html#absolute-scoring-and-irrelevant-input

以前工作过的东西现在在“尝试”中被宣布为IRRELEVANT,它属于ANYTHING_ELSE答案。

这些描述只是说明: “随着目标信心分数的变化,你的对话可能需要重组”

  • 有人在这里可以解释这里需要什么类型的重组吗?
  • 当我得到“多个意图返回”时,如何控制?

1 个答案:

答案 0 :(得分:2)

如果您的所有输入现在都在点击anything_else节点,则表示您的意图没有足够的训练样例来表示您的输入话语。

2017-02-03版本添加的更新增加了独立评分意图的能力(绝对评分),并且还可以更好地检测输入何时无关。如果意图的置信度为0.2或更低,则认为输入无关紧要。如果输入先前返回了某个意图,但现在在Try it out面板中显示“不相关”,则表明该意图现在返回低置信度。关于通过“重组”可以做些什么,你有几个选择。

可能最好的途径是向相关意图添加更多训练数据(示例)。添加更多训练数据将允许对话服务更自信地预测给定的话语是否与提供的意图相匹配。 另一个选项是在定义Dialog节点条件时使用“long hand”表示法。 我怀疑你今天在Dialog节点条件中有如下语法:

#my_intent_name

在这种情况下,Dialog引擎基本上会进行以下检查:

if(intents[0].name == "my_intent_name" && intents[0].confidence > 0.2)

如果您不关心可能不相关的输入,可以在Dialog节点条件中使用以下“long hand”表示法:

<?intents[0].intent == "my_intent_name"?>

如果第一个(顶部)意图的名称是“my_intent_name”,则此语句将始终评估为true。置信度值被忽略。 当然这样做会带来自己的问题,因为即使信心为0.01,条件也会评估为真,即使可能,如果这是置信度,那么话语对于工作空间来说是无关紧要的。

我们在文档中还提到“绝对评分​​”的一个主要优点是能够以高置信度返回多个意图,或者更具体地说是多个意图。以前,通过相对评分,所有意图置信度的总和达到1.这里值得注意的是,即使'默认'消息API调用在intents数组中返回一个意图,在封面下Conversation正在评估多个意图,但只是返回最重要的意图(在信心方面)。在先前的版本中,这些意图的置信度得分总和必须达到1.0。由于这种正常化,置信度得分略有偏差。每个意图的分数基本上相对于之前的意图信心。如果系统在.56中对最高意图有信心,那么剩下的意图最多可能是.44。结果,当用户输入诸如“打开灯并找到最近的餐馆”之类的东西时,系统通常对第一个意图返回更高的置信度。通过绝对评分,系统可以在这种情况下对多种意图表现出更高的置信度。 与以前的版本一样,使用message作为请求有效负载的一部分调用alternate_intents:true API将导致为给定请求返回一组意图。 在Dialog节点条件中,如果要检查第二个或后续意图的属性,则必须使用类似于上面所示的长手记法,将意图索引(0)替换为您感兴趣的索引。例如,如果您需要要检查系统是否对第二个意图有信心,您可以使用以下表示法:

<?intents[1].confidence >= .5?>