Python:如何检查给定站点是否可通过代理网络访问?

时间:2016-08-08 16:19:48

标签: python python-3.x url

如果我们的网络有代理,则无法打开某些网站。 我想迭代检查,通过我们的网络可以访问多少个站点。

1 个答案:

答案 0 :(得分:0)

找出代理阻止页面的源代码是什么。

使用urllibBeautifulSoup尝试抓取页面并解析页面的源代码,看看是否可以找到可以告诉您网站是否可访问的独特内容

例如,在我的办公室中,当我们的代理阻止某个页面时,源代码的标题标记为<title>Network Error</title>。像这样的东西可能是你的标识符。

只是一个简单的想法。

例如,您可以让URL在列表中进行测试,然后循环遍历列表并尝试抓取每个站点。