简介： 我是webcrawler项目的首席开发人员。这是一个相当成熟的项目，每天我们将执行大约3-70,000个单独的爬虫。我们有一个中型服务器群，每个服务器一次运行100-400个爬虫。
问题： 我们在访问HTTPS / TLS站点时看到间歇性故障，但只有当正在运行的服务器是Windows 2008时，我们的2003安装才会出现问题。爬虫将会运行，突然之间他们都无法再对HTTPS站点执行Web请求。他们只是等待他们分配的时间段然后超时。它们都一致失败，新的爬虫在问题出现时也会失败。
解决方案： 在受影响的服务器上打开Internet Explorer实例并转到随机的HTTPS / TLS站点将清除此问题。突然间，所有爬虫都将停止获得任何超时，并按照预期的那样工作。如果没有服务器遇到此问题，有时会超过一周。
问题： 有谁知道这里发生了什么？ 我们目前的解决方案是每天在所有Windows 2008服务器上启动一个Internet Explorer，并将其指向https站点，希望在它成为太多问题之前捕获它。这是非常令人不满意的，并且实际上无法正常扩展。