我正在使用urlopen()打开一个网站并从中提取(财务)数据。这是我的专栏:
sourceCode = urlopen('xxxxxxxx').read()
在此之后,我然后拉出我需要的数据。我遍历同一域上的不同页面来提取数据(股票信息)。我用:
结束循环体time.sleep(1)
因为我被告知会阻止我阻止我。我的程序将运行几分钟,但在某些时候,它会停止并退出数据。我可以重新运行它,它将运行另一个任意的时间然后停止。
我能做些什么来阻止这种情况吗?
答案 0 :(得分:-1)
(对大多数网站而言)这对我有用:
如果您使用的是urllib.request库,则可以创建一个Request并欺骗用户代理。这可能意味着他们不再阻止您。
from urllib.request import Request, urlopen
req = Request(path, headers={'User-Agent': 'Mozilla/5.0})
data = urlopen(req).read()
希望这会有所帮助