从Mechanical Turk下载图像

Question

我在Mechanical Turk中有一堆网址，我可以从中下载上传的图片。我写了一个Python脚本来下载所有文件。但是，我必须先登录Mechanical Turk才能访问这些文件。是否有从Mechanical Turk下载大量文件的API或最佳实践？

Answer 1

Boto http://boto.cloudhackers.com/是Amazon Web Services的Python包装器，包括Mechanical Turk;请参阅http://boto.cloudhackers.com/ref/mturk.html

上的Mechanical Turk API参考

或者，您可以使用urllib2，mechanize或Scrapy直接抓取它们。这三个都支持基本身份验证或基于cookie的表单身份验证。