如何改善LUIS模型的性能?

时间:2017-05-17 13:07:38

标签: botframework luis

如果您使用过语言理解服务(LUIS),它是Microsoft认知服务套件的一部分,您可能已经到了需要在预测意图时提高模型性能的程度。

LUIS允许您根据您以交互方式或批量提供的样本话语来训练模型。另外,我想让聊天日志显示被模型错误分类的话语,这样我就可以将它们作为新训练数据集的基础。

我认为将来会发布这样的功能,但与此同时,有没有人可以解决这个问题呢?

2 个答案:

答案 0 :(得分:1)

我认为(手动)实现此方法的一种好方法是将所有错误分类的消息路由到某种存储或日志,这样您将来可以使用它们来重新训练您的LUIS模型。实际上,您可以使用LUIS API动态轻松地使用日志中的数据进行调用。

所以,流程将是这样的:

1)用户向机器人发送消息。

2)Bot逻辑尝试使用LUIS模型匹配消息的意图。

3)找不到意图或与结果相关的值非常低。

4)抓取该消息并将其存储在某处(来自存储在Azure Blob存储中的简单txt文件),或存储在数据库(表存储,DocumentDB或SQL Server)中。

5)创建一个简单的程序,对于日志中的每一行,您可以选择一个意图,然后调用LUIS Api进行重新训练。

答案 1 :(得分:0)

所以,当我提出这个问题时,我发现了与我的想法最接近的东西。

在luis.ai的“MyApps”页面上,可以下载聊天记录,其中可以看到用户和机器人之间的整套交互。这可能是挑选错误分类的意图的良好起点。

I attached a screenshot to indicate the link

唯一需要注意的是,日志聊天格式目前位于.csv中,不太可读。希望LUIS很快支持json格式的日志。