标签： scrapy web-crawler okta
我们托管了一个使用OKTA对用户进行身份验证的网站。我们想抓取网站寻找破损的链接。
是否有一个库/方法来构建一个通用链接检查器，可以抓取网站并指出与OKTA登录一起使用的损坏链接？
我之前使用过scrapy，但在OKTA特有的文档中没有看到任何内容。