我有资格考试,我想调整。如果有经常遗漏的问题,我会考虑交换它们或添加澄清。
该测试是资格类型的一部分。在完成正确答案的分数后,工人将自动获得测试。我的HIT要求接受资格类型的最低分数。
我没有在请求者UI中看到一个视图来查看实际的工作者响应。
GetQualificationsForQualificationType
仅返回状态和值(分数),但documentation示例响应有答案。我已经尝试了java和WS调用。 sdk也有getQualificationRequests()
但它为此限定类型返回null。它返回一个QualificationRequest
数组。该类有getTest()
和getAnswer()
方法,但我看不到它会返回什么。在我看来,资格申请仅适用于那些没有经过手动授予的测试的人。
任何人都知道如何获得实际值?谢谢!
答案 0 :(得分:0)
如果您使用的是AnswerKey,则无法执行此操作。有两种一般策略可以解决这个问题:
不要将资格设置为自动移植(或使用答案密钥)。然后,您可以使用GetQualificationRequests操作查看单个问题的实际答案。如果您想快速限定大量工作人员,这可能不起作用,尽管您可以编写脚本来轮询新请求并根据答案批准它们,同时在本地保存资格测试答案。 (一旦获得资格,MTurk将不再提供这些资格。)
您可以指定您的资格分数,使每个分数唯一地标识答案模式。一个简单的方法就是三个问题的资格测试,它将每个问题分别按十分之一进行评分:
一个。 Q1:正确= 1,错误= 0
湾Q2:正确= 10,不正确= 0
℃。 Q3:正确= 100,不正确= 0
然后得分1,10或100表示1个正确答案。 11,101或110表示两个正确答案,111分表示三个正确答案。您可以使用In
比较器作为QualificationRequirements,例如,如果您希望他们拥有2个或更多正确答案,那么工作人员的分数为“In”11,101,110或111
显然有其他评分模式可以同样产生唯一可识别的分数模式。