如何在mTurk中验证调查完成代码，如果他们没有输入正确的代码，则禁止提交？

Question

我正在研究mTurk和qualtrics，并通过mTurk workerID发送到qualtrics，在qualtrics调查结束时，我将worker id显示为确认代码。这个代码将turker应该粘贴回mTurk HIT的文本框中。 我的问题是，一旦他在HIT中回写了工人ID，我如何验证他是否输入了他在Qualtrics调查中看到的代码，而不只是输入任何数字？ 我在HIT中使用javacript将workerid发送给Qualtrics。

Answer 1

有几种可能性，（2）可能是最好的：

1. 您可以在HIT中使用Javascript生成完成代码，并将此代码作为URL查询字符串参数传递给Qualtrics。然后，让Qualtrics提取完成代码并在调查结束时将其显示给工作人员。当他们输入代码时，您可以使用Javascript函数检查输入的代码是否与最初发送到Qualtrics的代码匹配，并生成一个名为correct的隐藏表单字段，并输入“是”或“否”的值”。然后，您可以批准匹配的所有人。
2. 您可以执行（1）中的所有操作，但配置Assignment-level ReviewPolicy会自动拒绝correct等于“否”的分配。
3. 您可以为调查中的每个人提供相同的代码（仅显示在Qualtrics中），然后使用Assignment-level ReviewPolicy直接根据代码的值进行拒绝。 （您无法为每个作业设置不同的正确答案的“动态”评论政策，因此这可能是最不可取的选项。）

使用这些方法中的任何一种，您只需提醒工作人员他们输入了错误的代码。您无法阻止使用请求者用户界面中创建的HIT进行提交。如果您改为设置ExternalQuestion（托管在您自己的服务器上）或HTMLQuestion（通过API创建），那么您可以通过仅在代码正确时显示提交按钮来阻止提交。但请注意，这可能会使一些工人烦恼。

Answer 2

我强烈警告不要使用＃2。拒绝会让你得到很糟糕的Turkopticon评论，并可能使你的学习陷入困境。

我也强烈警告＃3，因为某些Turker小组的成员将分享代码而不进行调查。

第一个选项绝对是您最好的选择，并且有大量的表单字段验证javascript代码片段可以完成工作。除此之外，在提交错误代码时提醒工作人员也是一个好主意，因为它使他们有机会从调查中再次获得它，或者再次进行调查。我喜欢Thomas在代码正确时只显示提交按钮的想法。只要正确地工作（它以正确的方式验证正确的代码），那么它不应该惹恼任何不作弊的工人。

Answer 3

关于生成单独确认码的逐步说明，我跟随了Tyler Burleigh的写作。这是托马斯回答的第一选择。

https://tylerburleigh.com/mturk/survey-completion-codes-in-qualtrics/