标签: django amazon-s3 web-scraping beautifulsoup boto
我正在尝试从网站上抓取PDF并将其上传到S3存储桶。我有一个有效的刮板,可以使用beautifulsoup4在本地成功下载文件,还有一个有效的脚本,可以使用Boto将文件上传到S3。我遇到的问题是一种跳过中间步骤的本地下载方法,而直接将其直接下载到S3。
在抓取和上传到S3之间是否有良好的界面?
答案 0 :(得分:1)
我通过此功能实现了自己的目标:
{{1}}