机械土耳其人

Question

我试图在机械土耳其人身上发布一个典型的心理学实验作为HIT。我提出了十几个单词对，我需要随机化/抵消所提出的单词对的顺序。在典型的HTML表单上似乎没有办法做到这一点。有没有办法使用API​​或命令行界面执行此操作？

Answer 1

2016年5月20日更新：转而使用PsiTurk。请参阅@John McDonnel的答案

2013年6月25日更新：这个答案很老了。请参阅Solomon Messing's blog post on MTurk in Social science for a starting point。

鉴于AMT上开始出现的心理研究数量，您认为他们会将此作为选项添加！

据我所知，如果没有：

，则无法使用网络界面执行此操作

1. 创建一堆模板（表单A，表单B，表单C，表单D）。
2. 运行第一个表单（表单A）。
3. 支付工人然后阻止所有工人。
4. 运行第二张表格（表格B）。
5. 支付工人和阻止所有人从第1步和第2步。
6. 重复直到你完成。

由于几个原因，这很糟糕。首先，您必须手动创建不同的表单。第二个问题是，通过阻止正在做好工作的工人，你会对他们在网站上的声誉产生负面影响。您的IRB不太可能对此表示友善。

解决此问题的“最佳”方法是不使用Web界面，而是使用命令行工具（CLT）创建ExternalQuestions。这样，你编写了一个可以处理随机化细节的webapp，在不依赖资格的情况下给予工人知情同意，并“礼貌地阻止”已经完成工作的工人。 （已经参加的工作人员会收到一条要求他们返回HIT的短信。）

如果你有兴趣走这条路，我有一些details on my blog关于我是如何做到的。

Answer 2

如果您决定采用@Nathan VanHoudnos列出的外部问题路线，我已经建立了一个框架，使用外部问题界面在Mechanical Turk上运行心理学实验。你可以查看here。代码运行一个简单的stroop实验，希望你可以改变它来运行你想要的任何东西。如果您需要任何帮助，请告诉我们！