所以,我有一个刮刀,使用bs4取出一些链接,然后我愿意下载这些链接,但问题是,当我点击下载按钮时,我的浏览器自动开始下载链接的zip文件间接指出,但是当我给urllib提供相同的链接时,它总是会下载页面而不是zip文件!
我要删除的链接是:Link I got from scraping
链接到我为该链接报废的页面:Main Page
在此主页上,该链接的文字为“4931x”
现在,当我通过浏览器点击相同的链接时,它会以某种方式重定向到:Redirected link
但即使我在第3个链接中使用urlopen,我也会被重定向到第一个链接!
我有一种感觉,这是一个愚蠢的问题,可能有一个非常简单的解决方案,但我似乎无法解决这个问题。我只是想自动下载压缩字幕但是我不能!
答案 0 :(得分:1)
当您的Web浏览器开发工具的网络面板显示时,原始URL将返回HTTP 302响应,其中包含重定向到{{3}}的位置标头。该页面包含此HTML:<meta http-equiv="refresh" content="5; URL=//dl.opensubtitles.org/en/download/vrf-108d030f/sub/6647724">
。这会指示您的Web浏览器在等待5秒后导航到该URL。