不能阻止机械土耳其人的骗子

时间:2017-07-17 14:24:22

标签: amazon-web-services speech-recognition mechanicalturk

最近,我进行了三项研究,其中MTurk工作人员听了几句外国语言,然后输入听起来像他们所听到的无意义音节。最后两次,一些工人半心半意地作弊,没有费心去听演讲,并打字像mooooooo这样的话。这一次,一些工作人员通过使用语音识别软件(很差地)转录语音来跳过听力。更复杂,但仍在作弊。 (这项研究测量的是人类在这方面比计算机好多少。)

当我点击骗子的名字然后点击“阻止此工作人员”时,该网页建议这将重新分配给目前为止给予他们的所有HIT给其他工作人员,并且该工作人员将无法再提交HIT 。但都没有发生。

如何阻止作弊者继续使用虚假的HIT污染我的数据?

1 个答案:

答案 0 :(得分:1)

亚马逊解释为什么被封锁的工人(有时)仍然提交HIT的解释:

当您阻止工作人员时,他们可能仍提交他们之前接受的任何HIT ,因为我们无法从工作人员中移除HIT。但是,他们不能接受任何新的HIT。

当您阻止工作人员时,您可以拒绝他们提交的作业,您可以将其重新发布给其他工作人员。但这不适用于他们已接受但未提交的作业。