有几个网站对我有重要数据,但没有API函数来检索这些数据。我想获得这些信息,而且我想创建自己的API。
第一个问题是这些网站将数据存储在他们的登录页面后面,所以我必须先输入,然后我才能检索这些数据。
应该提到的是,网站使用JS来检索数据并发回查询,并且还有SSL协议,因此所有流量都是加密的。
我的想法是
最后。我可以创建某种伪造TCP会话的API吗?Web服务器会将此会话识别为与真实浏览器的会话,或者这是不可能的?我读过有关硒的信息,但它需要太多的系统资源。
答案 0 :(得分:0)
从浏览器开发人员工具中读取数据更容易。它们允许您查看完整的请求数据和响应。
然后,要模拟浏览器,您只需要发送类似的请求,使用相同的Cookie和用户代理,并且与真实的浏览器没有区别。
在现代浏览器(例如Firefox或Chrome)中,您可以转到开发人员工具上的“网络”选项卡,并将请求导出为curl
命令,以便稍后从命令行发送相同的请求。 / p>