Question

对于wget，在很多情况下它只是返回“将你的javascript转为继续”

我发现有些文章说使用Splash / PhantomJS可以渲染python的scrapy，但是即使使用python我也不熟悉编程，所以如果有一些可以与wget集成的解决方案，它将是完美的。感谢

Answer 1

您不能仅使用wget执行此操作。但你可以使用一个PhantomJS脚本：

$ phantomjs dl_page.js http://stackoverflow.com/questions > stackoverflow.html

<强> dl_page.js ：

const system = require('system');
const page = require('webpage').create();

page.open(system.args[1], function()
{
    console.log(page.content);
    phantom.exit();
});

Answer 2

您可以使用Splash's HTTP API。

要获取呈现的HTML，请使用/render.html endpoint，将URL作为参数传递，并可选择使用一些wait参数：

wget -qO- 'http://localhost:8050/render.html?url=http://www.example.com/&timeout=10&wait=0.5'

Splash / PhantomJS（用于JavaScript渲染）可以与Wget一起下载网页吗？

2 个答案: