标签： amazon-s3 scrapinghub
我在scrapinghub有几个大型数据集（都是工作结果和数据集）。我需要将此数据上传到s3存储桶。目前，我看到的唯一选择是（使用Scrapinghub API）一个接一个地提取所有项目，创建csv并使用boto上传到s3。每个文件有超过一百万个项目，因此此过程非常耗时。还有其他选择可以完成任务吗？ 我想考虑像将脚本上传到SH这样的工具，它将一次性加载整个数据集，并使用boto将其上传到s3。全部在SH云中完成。有可能吗？