抓取PDF并将其上传到Django中的S3

时间:2018-10-04 19:56:34

标签: django amazon-s3 web-scraping beautifulsoup boto

我正在尝试从网站上抓取PDF并将其上传到S3存储桶。我有一个有效的刮板,可以使用beautifulsoup4在本地成功下载文件,还有一个有效的脚本,可以使用Boto将文件上传到S3。我遇到的问题是一种跳过中间步骤的本地下载方法,而直接将其直接下载到S3。

在抓取和上传到S3之间是否有良好的界面?

1 个答案:

答案 0 :(得分:1)

我通过此功能实现了自己的目标:

{{1}}