如何检索mturk资格测试的实际工作人员答案?

时间:2016-06-25 20:13:41

标签: mechanicalturk

我有资格考试,我想调整。如果有经常遗漏的问题,我会考虑交换它们或添加澄清。

该测试是资格类型的一部分。在完成正确答案的分数后,工人将自动获得测试。我的HIT要求接受资格类型的最低分数。

我没有在请求者UI中看到一个视图来查看实际的工作者响应。

GetQualificationsForQualificationType仅返回状态和值(分数),但documentation示例响应有答案。我已经尝试了java和WS调用。 sdk也有getQualificationRequests()但它为此限定类型返回null。它返回一个QualificationRequest数组。该类有getTest()getAnswer()方法,但我看不到它会返回什么。在我看来,资格申请仅适用于那些没有经过手动授予的测试的人。

任何人都知道如何获得实际值?谢谢!

1 个答案:

答案 0 :(得分:0)

如果您使用的是AnswerKey,则无法执行此操作。有两种一般策略可以解决这个问题:

  1. 不要将资格设置为自动移植(或使用答案密钥)。然后,您可以使用GetQualificationRequests操作查看单个问题的实际答案。如果您想快速限定大量工作人员,这可能不起作用,尽管您可以编写脚本来轮询新请求并根据答案批准它们,同时在本地保存资格测试答案。 (一旦获得资格,MTurk将不再提供这些资格。)

  2. 您可以指定您的资格分数,使每个分数唯一地标识答案模式。一个简单的方法就是三个问题的资格测试,它将每个问题分别按十分之一进行评分:

    一个。 Q1:正确= 1,错误= 0

    湾Q2:正确= 10,不正确= 0

    ℃。 Q3:正确= 100,不正确= 0

  3. 然后得分1,10或100表示​​1个正确答案。 11,101或110表示两个正确答案,111分表示三个正确答案。您可以使用In比较器作为QualificationRequirements,例如,如果您希望他们拥有2个或更多正确答案,那么工作人员的分数为“In”11,101,110或111

    显然有其他评分模式可以同样产生唯一可识别的分数模式。