psiturk - 如何验证实时HIT实际上是否有效?

时间:2015-07-24 17:55:29

标签: amazon mechanicalturk

我在星期三创建了一个现场HIT,持续时间为2小时。通过HIT的一部分,我试图在我创建它的同一台计算机上打开它并收到错误(我相信#1018)。这让我觉得HIT没有用。

我还在mTurk网站上搜索了实验,但在那里找不到它,进一步向我确认HIT无法正常工作。

这是来自这个HIT的server.log,如果它在某种程度上有用的话 - 它所带来的所有错误都进一步增强了我对HIT不起作用的看法。

第二天,研究员我是一名助理,向我转发了一封来自愤怒的工人的电子邮件,说她完成了整件事,但无法点击最后的“继续”按钮提交她的工作并获得报酬。所以HIT 已经一直在工作,但对我和我工作的研究人员来说完全不明白。

必须有一种更稳定的方式来判断实验是否正常工作...我不能只花大量时间等待而不知道HIT是否正常工作,因为通常它不会。我之前的助手说他会多次停止/启动服务器,等待3-5分钟,直到HIT出现在mTurk网站上。这真的是最好的方法吗?

关于同样的经历,我有多个问题,但SO政策是每个帖子的一个问题......所以请查看我的其他问题

1 个答案:

答案 0 :(得分:1)

如果您输入"点击列表"在psiturk你应该得到这样的东西:

Perception Experiment 
Status: Assignable 
HITid: 3IKMEYR0LWDA7K7OS5D2SUOVHWD2KK             
max:15/pending:0/complete:0/remain:14 
Created:2015-08-24T19:21:51Z             
Expires:2015-08-24T21:21:51Z

然后你可以检查一个工人会看到什么(注意从上面复制HITid):

https://workersandbox.mturk.com/mturk/preview?groupId=3IKMEYR0LWDA7K7OS5D2SUOVHWD2KK

此外,如果您在requestersandbox.mturk.com上登录您的请求者帐户,请转到管理,然后单击"单独管理点击",您应该看到输入"点击列表& #34;在psiturk返回。

总的来说,听起来您的工作流程还没有为在生产模式下使用MTurk做好准备。我建议如下:

  • 首先在沙箱模式下运行您的HIT,自己做一个测试请求者,至少有一个人这样做。
  • 如果一切顺利,您可以下载数据文件并运行分析(即您不会忘记任何关键变量......),然后运行3-5个MTurkers。
  • 如果一切顺利,请进行完整的实验。