MTurk:同时发布实验条件,但只允许每个工人看到其中一个条件

时间:2014-08-15 18:11:26

标签: javascript amazon-web-services boto mechanicalturk

我有多个条件的实验。在每个实验中,我都要求Turkers对一篇新闻文章进行评分,但我正在改变实验条件下的演示文稿。我需要同时向Turk发布所有条件,但允许每个工人只看到许多条件中的一个。工人第一次尝试击中时,他被随机分配到一个实验条件(比如A)然后如果他尝试任何后续命中,他应该被显示与相同实验条件(A)相关的任务而不是其他人( B,C等。)

我知道可以使用资格要求来阻止工作人员重复调查,但在我上面描述的情况下这是不可能的,因为我需要同时发布不同的实验条件,不像你做第1阶段的调查,检索工作人员ID谁完成了任务然后阻止(或指定资格),以便他们不能在第2阶段尝试调查。

无论如何,问题的简短版本是:我如何将一名工作人员随机分配到实验条件,然后确保在任何后续命中中将他分配到同一个,前提是我同时发布所有条件。有没有办法在他们看到HIT时检索工作人员ID,然后为他们分配相应的实验条件任务。我能找到的最近的是paper(第5页),他们使用IFrame查找工作人员ID。

1 个答案:

答案 0 :(得分:0)

我建议这里不使用真正的随机化。相反,使用javascript检索worker workerId参数,该参数将作为URL查询参数传递给HIT。然后,在HIT本身中,使用javascript以非随机方式向工作人员显示基于其workerId的某些部分的文章(例如,最后两个字符)。

作为更完整的示例,创建一个包含所有双元素字母数字组合的数组。随机将每个组合分配给一个条件。然后,当工作人员接受HIT时,提取他们的workerId,将其最后两个字符与基于该数组的条件相匹配,然后向工作人员显示适当的内容。因此,实质上,您根据其workerId非随机分配人员,但该标识符基本上是随机分配的。