如何使用僵尸抓取配置数据库

时间:2018-11-15 17:27:18

标签: node.js web-scraping metabase

我想剪贴我的使用元数据库的网站。为此,我使用了Zombie模块。 例如,我使用了这个网址https://stats.metabase.com/auth/login?redirect=%2F,但我的网站却与此类似。

我的代码:

const browser = new Browser({ debug: true });

browser.visit('https://stats.metabase.com/auth/login?redirect=%2F', async (result) => {
    console.log(result);

    await new Promise((resolve) => {
        setTimeout(() => {
            console.log(browser.html());
            console.log(myLog);
            resolve();
        }, 10000);
    });
});

结果:

  

错误:在Lexer定义中检测到错误:   令牌类:-> NullaryAggregation <-缺少静态“ PATTERN”属性-----------------------   令牌类:-> UnaryAggregation <-缺少静态“ PATTERN”属性       在新时间(http s://stats.metabase.c om / app / dist / vendor.bundle.js?52d110c7445f6d30f2db:126:134814)       在对象。 (ht tps://stats.metabase.com/app/dist/app-main.bundle.js?52d110c7445f6d30f2db:5:1161826)       在我(ht tps://stats.metabase.com/app/dist/vendor.bundle.js?52d110c7445f6d30f2db:1:410)       在对象。 (http s://stats.metabase.com/app/dist/app-main.bundle.js?52d110c7445f6d30f2db:5:788893)       在我(htt ps://stats.metabase.co m / app / dist / vendor.bundle.js?52d110c7445f6d30f2db:1:410)       在对象。 (https://stats.metabase.c om / app / dist / app-main.bundle.js?52d110c7445f6d30f2db:5:654692)       在我(htt ps://stats.metabase.c om / app / dist / vendor.bundle.js?52d110c7445f6d30f2db:1:410)       在对象。 (h ttps://stats.metabase.co m / app / dist / app-main.bundle.js?52d110c7445f6d30f2db:5:1135139)       在我(htt ps://stats.metabase.co m / app / dist / vendor.bundle.js?52d110c7445f6d30f2db:1:410)       在对象。 (htt ps://stats.metabase.com/app/dist/app-main.bundle.js?52d110c7445f6d30f2db:5:1134219)       在HTT ps://stats.metabase.c om / auth / login?redirect =%2F中     文件名:“ http s://stats.metabase.c om / app / dist / app-main.bundle.js?52d110c7445f6d30f2db'}

预期:

  

没有错误

经过很多尝试:更改了userAgent,设置了超时时间,减慢了页面的加载速度。什么都没做...有人有主意吗?

0 个答案:

没有答案