BeautifulSoup()costructor有时会卡住

时间:2017-08-07 17:44:00

标签: python python-3.x beautifulsoup

我有一个程序每隔几分钟抓取一个网站(约30页)。它在过去的1。5年里一直运作良好。但是,在这段代码中

response = urllib.request.urlopen(url)
   ...some code...
htmlPageContent = response
   ...some code...
soup =  BeautifulSoup( htmlPageContent )

奇怪的是,这条线

soup =  BeautifulSoup( htmlPageContent )

不断陷入困境。我什么都没改变。当url =不同的页面时(每次都在不同的页面上),它就会卡住。不一致而不是特定网址。偶尔卡住一次(约30分钟一次)。

我已经和它打了一个星期!! 可能是什么原因?

非常感谢你们!

0 个答案:

没有答案