我们使用调查问卷来评估学生的知识水平(我们手动完成,如在试卷中)。它由以下部分组成:
现在我已经完成了一项任务,即建立一个能够实现自动化的专家系统。所以基本上我们有一个正确的答案。但我的问题是“理解问题”。我需要将他们答案的背景与正确答案的背景进行比较。
我最初已经找到了答案,但看起来这真的是一件大事。到目前为止我所搜索的是我可以通过NLP来做到这一点,这对我来说真的很新。此外,如果我没有弄错的话,似乎我必须找到一个可供审查员回答的所有单词的字典。
我是否在正确的轨道上?如果不是,请建议我应该做什么(研究什么?)或给我一些我需要的材料的链接。另外,我应该制作自己的字典吗?因为我将使用的单词是菲律宾语。
更新:理解问题
调查问卷的理解部分包含一个解释某个情景的段落。问题很简单。这是一个例子:
邦妮的叔叔叫她从树上摘苹果。拿起一根棍子,她戳了一下水果,好让它们掉下来。在这样做的过程中,一阵强风吹来。由于她害怕水果落在她的头顶,她停止了她正在做的事情。然而,在此之后,她注意到风已经导致苹果从树上掉下来。这些堕落的苹果是她带回家给她叔叔的。问题是:
答案键指出的可能答案是:
对于数字1:
1.1邦妮的叔叔告诉她从树上摘苹果
1.2获得苹果
对于2号:
2.1一阵强风吹来
2.2她可能会被水果击中头部
对于3号:
3.1不,因为她得到的苹果已经在地上了
3.2不,因为风是导致水果下降的原因
3.3是的,因为在刮风的时候很难采摘水果。
3.4是的,因为至少她试过了
现在有答案给了我。系统应该能够完成的工作是将学生答案的上下文与正确答案的上下文进行比较,以便系统能够成功地对学生的答案进行评分。
答案 0 :(得分:1)
我能想到的一种简单的方法(在我的脑海中)是使用字符串相似性度量(如余弦或jaccard)来确定某些关键字是出现在测试答案中还是已知的正确答案中。 使用NLP可以使用part of speech tagging自动提取这些关键字。例如,您可以提取所有名词(以及可能的动词)。然后,将每个答案表示为关键字的向量,您可以将测试向量与已知的正确向量进行比较。
例如,在第二个问题中,两个可能答案的向量可以是
答案就像"她拿起一根棍子"使用关键词:挑选,棍棒将得到一个非常低的分数,比如像#34;害怕水果落在她的头上"与关键词:水果,下降,头。
注意: