Question

我需要在casperjs中导入一些链接并在json中输出结果html或者其他什么，但是如果我在一个文件中有1milion链接我需要一些自动的东西，比如从json调用每个链接的循环（例子）然后用casperjs提取html，然后写在文件json或其他什么。这是我的脚本但写入文件而不是在某些文件db，json或csv中获取链接。我如何根据自己的需要修改此脚本？：

var casper = require('casper').create({
    pageSettings: {
        loadImages: true,
        loadPlugins: false,
        userAgent: 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36',
        javascriptEnabled: true,
        verbose: true,
        logLevel: "debug",
        cookiesEnabled: true
    }

});

var fs = require('fs');
var x = require("casper").selectXPath;
phantom.cookiesEnabled = true;
phantom.javascriptEnabled = true;

casper.start().thenOpen("LINK_LOGIN", function() {
    console.log("Link opened...");
    });
casper.then(
    function() {
        casper.echo("clicking..");
        casper.click(x("/html/body/div[@id='whais']/ul[@id='undest']/li[@id='login-you']/a"));
    });

casper.then(function(){
    console.log("Login...");
    this.sendKeys('input[id="login"]', 'USER');
    this.sendKeys('input[id="password"]', 'PASSWORD');
    casper.echo("click");
    casper.click('input[type="submit"][name="form"]');  
    this.evaluate(function(){
        document.getElementById("button-send").click();
    });

});

casper.thenOpen("OTHER_LINK_SAME_DOMAIN", function() {    
    console.log("page loading...");
    console.log("...write html");
    var html = this.getHTML();
    var f = fs.open('my.html', 'w');
    f.write(html);
    f.close();

}).waitForText("how are you?", function() {
    this.echo('Found the answer.');
},
function() {
    this.echo('not found answer, time out!');
},60000
);

casper.run();

谢谢!!!

Answer 1

我在一个文件中有1个百万个链接。

首先，您应该阅读该文件的内容。看看fs.read。

我需要一些自动的东西，比如从json调用每个链接的循环（例子）然后用casperjs提取html然后写入文件json或其他什么。

使用循环打开每个网址，然后保存。示例代码：

var url_list = [...]// contains the url from the local file

casper.start()
var index = 0;
casper.then(function () {
        for (var i = 0; i < url_list.length; i++) {
            casper.thenOpen(url_list[i], function () {
                fs.write(index + '.html', this.getHTML(), 'w')
                index ++
            })
        }
    }
)

casperjs：导入json和循环导出结果json

1 个答案: