Selenium / PhantomJS无法获得网址 - 随机失败

Question

我使用python与Selenium和phantomJS抓取网站。
Beautifulsoup解析一些HTML 一切正常但我得到随机故障，在下面的while循环中阻止脚本启动webdriver并获取url内容。

while (htmlContent is None) :
    try:
        driver = webdriver.PhantomJS()
        driver.implicitly_wait(20)
        driver.get(url)
        driver.implicitly_wait(20)
        soup = BeautifulSoup(driver.page_source , 'html.parser')
        htmlContent = soup.find("table", class_="desc-item")
        driver.close()
    except:

• 我在这个特定的网址上再试一次（重启python脚本） 脚本失败的地方 - ＆gt;它正在工作。
• 如果我发出超时异常，脚本会继续正确地抓取其他网址但在其他网址上随机失败。

我的想法用完了 - 有什么建议吗？ 谢谢！