机械土耳其人体系结构，用于传输无尽的任务列表

Question

我们应该如何构建一个使用Amazon Mechanical Turk API来处理任务流而不是一批批量任务的解决方案？

以下是更多信息：

我们的应用每天收到大约1,000张照片和视频。每张图片或视频包含需要转录的6-8个数字（它是电子设备的序列号），以及转录的“确定性级别”（例如“确定”，“不确定”，“无法读取” “）。每个图像的转录时间不到10秒，每个视频的转录时间不到20秒，并且需要最少的技能或培训。

我们的应用程序将全天不间断地上传这些图像，我们希望在几分钟内将它们转换为数字。理想的解决方案是让我们每分钟上传新任务（在高峰期每分钟不到20分钟）并每分钟下载一次结果。

两个问题：

• 为了确保快速周转时间，准确性和成本效益的良好平衡，我们应该一次提交一个任务，还是最好批量完成任务？如果是这样，设置批量大小时我们应该考虑哪些变量？
• 是否有包含MTurk API的库或托管服务更容易处理像我们这样的用例，其中HIT生成是流式传输而且是持续的而不是一次性的？

为新手问题道歉，我们是Mechanical Turk的新手。

Answer 1

一次一个地将任务流式传输到Turk

您可以使用CreateHIT操作通过机械土耳其人的api单独流式传输任务。每次在应用程序中收到图像时，都可以调用CreateHIT操作立即将任务发送给Turk。

您还可以通过api设置通知，以便在任务完成后立即发出警报。 Turk Notification API Docs

批量与流式传输

至于批处理与流式传输，您最好通过流式传输来实现周转时间和成本的良好平衡。批量处理不会降低成本太高，提高准确性在很大程度上取决于手动审查，审查和跟踪员工绩效或实施自动化流程。

图书馆和服务

大多数图书馆都提供api中提供的所有操作，因此您只需谷歌搜索或使用您的编程语言搜索Github库。 （我们使用Ruby库rturk）

提供托管解决方案的公司列表可以在Quora答案的 Metaplatforms 部分找到问题：What are some crowdsourcing services similar to Amazon Mechanical Turk?（免责声明：我的公司，{{3}是那里列出的解决方案之一。）