我有一项任务要完成。我需要制作一个Web爬虫类应用程序。我需要做的是将URL传递给我的应用程序。此网址是政府机构的网站。该网址还与该政府机构批准的其他个人代理机构有一些链接。我需要转到这些链接，并从该网站获取有关该机构的一些信息。我希望我能说清楚。现在我必须使这个应用程序通用。这意味着我不能仅为一个网站（政府机构）进行硬编码。我需要像任何给它的URL一样，它应该检查它，然后获取所有链接并继续。现在在某些网站上，这些链接以pdf格式出现，有些则出现在页面上。
我必须使用python。我不知道如何处理这个问题。我使用BeautifulSoup花费时间，但需要大量解析。其他选择是scrapy或斜纹。老实说，我是python的新手。我不知道哪一个更适合这项任务。所以任何人都可以帮助我选择正确的工具和正确的方法来解决这个问题。提前致谢