将URL指向的文件保存到AWS S3

时间:2015-05-07 15:12:40

标签: curl amazon-web-services amazon-s3 wget

我在文本文件中有一组URL。这些URL指向一些pdf,doc,HTML或txt文件。我想在AWS S3上保存这些文件,而不必在本地系统上下载文件,然后将其推送到s3。(最好是python或bash脚本)。

提前致谢。

1 个答案:

答案 0 :(得分:0)

不幸的是,这是不可能的。 S3仅接受内容,而不接受要下载的URL。但是,使用其他低成本AWS服务可以为您下载/上传提供多种选择。

考虑创建一个接受URL并下载该URL的Lambda,然后将其上传到S3。您可以运行循环遍历文件行的脚本,并为每一行触发一个Lambda(注意lambda并发运行限制)。

使用Request库

,Node.js中的lambda代码非常简单