观察http请求并在代码中模拟相同的请求

Question

有没有办法在浏览器中观察http请求并保存该请求（标题数据和参数）并在代码中模拟相同的请求？

我想要的是＆＃34;模拟＆＃34;我的项目中的浏览器，以获得相同的响应，就像用户使用普通浏览器一样。

我并不确切知道如何正确地提出问题，但我想要的是模拟某些网站上的身份验证并抓取与我在浏览器中时相同的数据。

Answer 1

我想要的是使用简单的http请求抓取一个使用身份验证保护的网站，并在我的代码中构建请求标头。它不仅仅是发送一个带有名称+密码的POST请求，还包括一些其他隐藏参数，这些参数最初是在用户访问网站时生成的 - 在客户端使用javascript。 也许有可能理解生成这些隐藏参数背后的算法，但由于复杂性，可能需要很长时间。

在不关心正确标题的情况下以自动方式抓取网站的最佳方法是使用“无头”浏览器，这是没有GUI的普通浏览器。您可以在代码中控制它。可以找到这些无头浏览器的列表here。

因此无需观察和记录请求并在代码中模拟它 - 只需使用无头浏览器即可。