如何在已部署的应用程序中使用puppeteer-core抓取动态网页?

时间:2018-12-29 05:33:49

标签: javascript webpack web-scraping puppeteer

我正在尝试构建一个使用节点模块“ puppeteer-core”抓取动态网页的应用程序。目的是使用户单击将触发功能的按钮。此功能将抓取内容并将其返回给用户。

我设置了webpack(我认为是正确的),但是当我构建生产项目时,webpack无法捆绑“ puppeteer-core”。我有以下错误:

“无法解析'path / to / node_module / puppeteer-core / lib中的'ws'模块”(https://i.imgur.com/KmTFcnd.png

为什么会出现此错误以及如何解决?是否可以在已部署的应用程序中抓取动态网页(不使用服务器端nodejs)?

Webpack版本:4.28.2

我尝试使用“ webpack-node-externals”,但没有成功。

// webpack.config.js
const path = require("path")
module.exports = {
    entry: {
        main: './Client/js/main.js'
    },
    output: {
        filename: '[name].js',
        path: path.resolve(__dirname, 'wwwroot/js')
    },
    module: {
        rules: [
            {
                test: /\.js$/,
                exclude: /node_modules/,
                use: [{ loader: "babel-loader"}]
            }
        ]
    },
}

我想实现上面提到的目标。允许用户:

点击按钮>抓取动态网站>返回信息

0 个答案:

没有答案