我有一个程序每隔几分钟抓取一个网站(约30页)。它在过去的1。5年里一直运作良好。但是,在这段代码中
response = urllib.request.urlopen(url)
...some code...
htmlPageContent = response
...some code...
soup = BeautifulSoup( htmlPageContent )
奇怪的是,这条线
soup = BeautifulSoup( htmlPageContent )
不断陷入困境。我什么都没改变。当url =不同的页面时(每次都在不同的页面上),它就会卡住。不一致而不是特定网址。偶尔卡住一次(约30分钟一次)。
我已经和它打了一个星期!! 可能是什么原因?
非常感谢你们!