页面外部链接在python中计数

Question

我在python中需要这样的函数：

- 检查网站页面上的外部链接。

- 检查给定页面上是否存在某些链接。

有没有人知道这个任务的好解决方案/库？ 我想我应该在这里使用BeautifulSoup ..，可能有更多的lib可以帮助吗？

Answer 1

您应该能够使用urllib2模块来获取页面，使用beautifulsoup来解析页面并提取链接，将其存储在列表中并匹配它们以检查某些现有链接。 BeautifulSoup on SO本身有很多问题。