许多小型号与一个大型号相比

时间:2017-09-07 12:34:42

标签: luis

我目前正在使用聊天机器人实施一种调查问卷,并使用LUIS来解释答案。该调查问卷分为20个问题。

现在我想到了以下问题:哪个选项更好?

  1. 我为每个问题制作一个LUIS模型。由于这些问题可能包括隐含的子问题(即“你想一次性支付还是按费率支付”可能包括“这些费率应该有多高?”)我最终每个问题可能有3-5个意图(包括{{ 1}})。
  2. 我可以为每个细分制作一个模型。让我们假设这是可能的,并且符合每个模型的80个意图。
  3. 我的第一个直觉是认为第一种选择更好,因为这应该更加强大。当只有5个意图可供选择时,可能更容易确定正确的意图。据我所知,你可以拥有多少型号没有限制(......这是正确的吗?)。

    所以这是我的问题:有什么其他好处/缺点,是否有一个客观上最好的选择?

1 个答案:

答案 0 :(得分:1)

您可以拥有任意数量的模型,对此没有限制。但问题的其余部分:

您打算使用LUIS来解释每个回复吗?我很好奇问卷的实际设计以及为什么你需要(或想要)开放式回答而不是多项选择题。 "Do you want to pay all at once or in rates"本身就是一个二元问题。对此进行分支,用户可能会回复"Yes I want to pay all at once",这可能会使用LUIS。或者他们可以回复"rates",这可能是Prompt / FormFlow中用户可用的两种选择之一。 "rates"也比第一个答案短得多,因此可能会更频繁地输入选择。

多项选择题提供标准化输入,可减少您在管理数据时必须完成的工作量。它也很可能减少维护模型和问卷所需的工作量。

客观地说,一种模式更有可能减少工作量,但我们可以进一步深入研究:

第一个选项:

如果您的问卷调查分段包含20个问题且您有2个细分,则您需要维护40个单独的模型,这是一场噩梦。 此外,您可能会遇到延迟问题,具体取决于您的识别器顺序,因为您必须等待来自 40个端点的响应。这表示可以关闭识别器,因此您可能只需要等待一个识别器。但是,您需要手动打开下一个识别器并关闭前一个识别器。您还应该知道,处理多个“无”意图是一场噩梦,以防您希望每个识别器都处于活动状态。

我认为在你意识到自己处理四十个模型的痛苦之后,你会想要帮助管理模型。您可以添加协作者,但是您还需要将它们添加到多个模型中。有一天,你(可能)必须从他们拥有合作者身份的所有模型中删除它们。

第一种选择更稳健,但也涉及相当大的工作时间。你部分正确,因为模型预测的可能性较小,所以较少的意图是有用的。但是通过更多的话语和标签,你的模型的预测变得更准确,因此每个模型有5个意图获得的任何奖励最有可能变得没有实际意义。

第二个选项:

如上所述,每个细分使用一个模型的工作量较少。维护工作较少,但有哪些缺点?在你足够好地训练你的模型之前,由于误报预测可能确实会产生一些意想不到的后果。也就是说,您可以在问卷调查/机器人/调查问卷 - 机器人代码中对此进行说明,以便专门查找问题的预期意图,然后使用此子集中得分最高的意图,如果最高评分意图总体上与您的匹配不一致问题

另一个垮台是,如果它是一个模型而且一个合作者犯了一个灾难性的错误,它会影响整个细分市场。对于多个模型,错误只会影响一个问题/模型,所以这是一个加号。

除了不必处理多个无意图处理之外,您还可以快速标记属于无意图的话语。您在单一模型中标记为意图的内容基本上使其更加突出模型内部的其他意图。如果您有多个模型,在一个模型中触发特定意图的答案需要在其他模型中触发无意图,否则,您将最终获得多个高评分意图(并且相关/预期意图可能不是最高得分)。

结束:

我推荐第二个对象,因为它的工作量较少。此外,我不确定调查问卷的目标,但作为一般规则,我质疑是否需要在不需要的地方放置AI。 Here是一个链接,讨论了有助于机器人成功的因素(注意自然语言是这些因素之一)。