Selenium WebDriver - 如何在不在浏览器中打开网页内容的情况下获取网页内容

Question

我需要保存网页的内容，但不想在任何浏览器中打开它。 在Selenium WebDriver中有什么方法可以通过网络链接获取内容。

Answer 1

是的，你可以用无头做到这一点。 PhantomJS是最好的选择之一。从here

获取的示例示例

var page = require('webpage').create(),
url = 'http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search';
page.open(url, function (status) {
if (status !== 'success') {
console.log('Unable to access network');
} else {
    var results = page.evaluate(function() {
    var list = document.querySelectorAll('address'), pizza = [], i;
    for (i = 0; i < list.length; i++) {
    pizza.push(list[i].innerText);
}
    return pizza;
});
    console.log(results.join('\n'));
}
    phantom.exit();
});

Answer 2

不要使用Selenium。

使用Jsoup。

100％无头，并且不需要任何与selenium不同的第三方程序来获取页面内容。