浏览器模拟和刮风车或硒，有多少http请求？

Question

我想使用windmill或selenium来模拟访问网站的浏览器，抓取内容并在分析内容后继续进行一些操作，具体取决于分析。

举个例子。浏览器访问一个网站，我们可以找到50个链接。当浏览器仍在运行时，例如python脚本可以分析找到的链接并决定浏览器应该点击的链接。

我最大的问题是使用风车或硒可以完成多少次http请求。我的意思是这两个程序可以模拟在浏览器中访问网站并仅使用一个http请求来搜索内容，或者他们是否会使用另一个内部请求来获取链接，而浏览器仍在运行？

很多！

Answer 1

Selenium使用浏览器，但HTTP请求的数量不是一个。对于HTML文档中提到的JS，CSS和图像（如果有），将向服务器发出多个HTTP请求。

如果要使用单个HTTP请求来抓取页面，则需要使用仅获取HTML源中存在的内容的scraper。如果您使用的是Python，请查看BeautifulSoup。