Python |模拟用户代理

时间:2017-03-09 06:21:22

标签: python

我不想尝试用勺子喂我,但是我试图模仿用户代理,而我似乎无法理解我到目前为止如何使用我的代码,尝试失败了。 (我试图模仿用户代理的原因是因为我被(n)503错误阻止了)

import urllib
import urllib.request
from bs4 import BeautifulSoup

url = "https://website.com/random-junk"
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, "html.parser")

print(soup.title)

我是Python的新手,所以我一直在研究文档以及其他推荐给我的资源,所以如果我使用弃用的方法,或者我应该这样做另一种方式,请告诉我! 提前谢谢!

1 个答案:

答案 0 :(得分:0)

import urllib
import urllib.request
from bs4 import BeautifulSoup

url = "https://website.com/random-junk"
req = urllib.request.Request(url)
req.add_header('User-agent', 'Mozilla/5.0') #set user-agent header
r = urllib.request.urlopen(req)
soup = BeautifulSoup(r, "html.parser")
print(soup.title)