(节点)在流式传输数据时从GET获取HTML

时间:2018-12-10 21:28:45

标签: html node.js ajax http

我正在使用Node。在服务器端,我收到了客户端的请求。在向客户端发送响应之前,我正在从其他网站获取数据,因此我正在使用request npm模块创建一个请求对象。 基本上我有这样的东西:

request(url, (req,resp) => {...});

问题在于某些页面是动态的。考虑一下诸如facebook之类的事情,当您用鼠标向下滚动页面=>出现新数据并且HTML代码越来越大时。

我在mycallback函数中从resp对象获取的HTML数据存在问题,就是它只有很少的数据。

使用浏览器,我可以通过向下滚动页面来获取更多数据,但是可以通过编程方式获取所有数据吗?

谢谢;)

1 个答案:

答案 0 :(得分:0)

您可以尝试:

request(url, (req,resp) => {...})
.on('complete', (data) => {
  console.log(data.body);
});

或 让bufferedData ='';

on('data', (data) => {
  bufferedData += data.toString();
})