如何使用Python将网页保存到* .url文件

时间:2017-10-19 02:55:48

标签: python selenium selenium-webdriver selenium-firefoxdriver

我在Selenium打开了一个网页,我已经访问了它的网址,我想把它保存到.url文件中。该文件将保存,如果您在vim中打开它,它将显示HTML页面的所有内容(使用下面的第一个实现)。也就是说,当我尝试打开一个对话框时出现错误“目标”,这个互联网快捷方式无效。有没有办法在Python中轻松解决这个问题?

实施1:

r = requests.get(url, allow_redirects=True)
open('google.url', 'wb').write(r.content)

实施2:

urllib.request.urlretrieve(url, "google.url")

1 个答案:

答案 0 :(得分:0)

您可以尝试这样的事情

    headers = your headers
    req = urllib.Request(url, None, headers)
    page = urllib.urlopen(req).read()
    soupdata = BeautifulSoup(page, "html.parser")

我使用过的模块bs4和urllib2作为urllib

祝你好运:)