我可以使用Selenium / BeautifulSoup从XHR请求中提取URL信息吗?

时间:2019-06-02 16:03:55

标签: python selenium web-scraping beautifulsoup

我正在使用Selenium滚动浏览使用无限负载的目标站点的帖子。检查开发人员工具后,我可以看到在XHR请求中找到了以?query_hash = ... 开头的动态URL的新加载帖子的数据。

由于这些URL在开发人员工具中是已知的,因此我可以使用BeautifulSoup以编程方式访问它们吗?理想情况下,我想使用Selenium加载URL并下拉硬编码的URL值,而不是尝试弄清楚如何从头开始生成URL。这可能吗?

1

0 个答案:

没有答案