Question

基本上我正在使用NodeJS获取我想要的页面，但它读得太快了。我正在尝试从加载divs（帖子）读取东西的网站我想读得太慢，所以我在帖子之前返回了主体（在动态加载“/大约一秒钟之后）。

不确定我是否在这里有任何意义，但无论如何。

var options = {
    url: array[i],
    headers: {
        'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'
            }
}
request(options, function(error, response, body) {
    if(!error && response.statusCode == 200) {
           console.log(body);
}

正文包含网页，但没有需要花费一秒左右才能加载的帖子。

Answer 1

看起来您需要使用无头浏览器，例如phantom.js，因为JavaScript不会被执行，因此不会加载动态内容。

这个帖子可能会有所帮助：

How can I scrape pages with dynamic content using node.js?

NodeJS - 在获取身体之前延迟“请求”？

1 个答案: