如果我们的网络有代理,则无法打开某些网站。 我想迭代检查,通过我们的网络可以访问多少个站点。
答案 0 :(得分:0)
找出代理阻止页面的源代码是什么。
使用urllib
和BeautifulSoup
尝试抓取页面并解析页面的源代码,看看是否可以找到可以告诉您网站是否可访问的独特内容
例如,在我的办公室中,当我们的代理阻止某个页面时,源代码的标题标记为<title>Network Error</title>
。像这样的东西可能是你的标识符。
只是一个简单的想法。
例如,您可以让URL在列表中进行测试,然后循环遍历列表并尝试抓取每个站点。