列出某个域中的所有网站

Question

我有一个学校项目，我必须列出该国政府（.gov.pt）的所有网站，并且我正在尝试寻找实现这一目标的最佳方法...有人可以帮助我吗？我的老师建议创建一个网络爬虫或手动搜索网站，基本上我们可以使用任何想要实现的东西

预先感谢

Answer 1

可以结合使用Python和Beautiful Soup来获取信息。当您知道要抓取的信息时，它非常易于使用。