标签: python selenium web-scraping beautifulsoup
我正在使用Selenium滚动浏览使用无限负载的目标站点的帖子。检查开发人员工具后,我可以看到在XHR请求中找到了以?query_hash = ... 开头的动态URL的新加载帖子的数据。
由于这些URL在开发人员工具中是已知的,因此我可以使用BeautifulSoup以编程方式访问它们吗?理想情况下,我想使用Selenium加载URL并下拉硬编码的URL值,而不是尝试弄清楚如何从头开始生成URL。这可能吗?