Question

从休息端点呼叫p的适当方法吗？

Route.js

const express = require('express');

const PuppeteerController = require('../controllers/puppetter');

const router = express.Router();

router.post('/getPath', PuppeteerController.getPage);

Controller.js

async getPage(req, res) {
   try {
    let resp = await pageScanner.getPageContent(url);
    return res.status(200).send(resp);
   }
   catch(e) {
      return res.status(400).send({
        error: 'not-found'
      });
   }
}

Scanner.js

async getPageContent(url) {
   try {
      const browser = await puppeteer.launch({
        args: [
          '--no-sandbox',
          '--disable-setuid-sandbox',
          '--disable-dev-shm-usage',
          '--disable-accelerated-2d-canvas',
          '--disable-gpu'
        ]
      });
      const page = await browser.newPage();
      await page.setViewport({ width: 800, height: 600 });
      await page.goto(url);
      await page.waitFor(1000);
      const pageContent = await page.content();
      await page.close();
      await browser.close();
      return pageContent;
   } catch(e) {
     return 'No good'
   }
}

这是最好的方法吗？如果此端点受到多次点击，我会担心性能。

Answer 1

是的，可以这样做。我建议使用伪造的实例池来限制并行执行的次数。正如您已经注意到的，否则，如果大约同时发出10个请求，则可能有10个打开的浏览器。

检出puppeteer-cluster库（免责声明：我是作者），该库支持您的用例。

代码示例

我从文档的示例"Minimal screenshot server with express"中获取了代码，并将其修改为您的用例。该代码创建具有多个浏览器的群集（可以使用多少个并行实例，取决于计算机的CPU /内存/吞吐量），并生成一个Express服务器来处理传入的请求。抓取的URL由参数?url=...给出：

const express = require('express');
const app = express();
const { Cluster } = require('puppeteer-cluster');

(async () => {
    const cluster = await Cluster.launch({
        concurrency: Cluster.CONCURRENCY_BROWSER,
        maxConcurrency: 4,
    });

    // setup the function to be executed for each request
    await cluster.task(async ({ page, data: url }) => {
        await page.goto('http://' + url);
        // ...
        return await page.content();
    });

    // setup server
    app.get('/', async function (req, res) { // expects URL to be given by ?url=...
        try {
            // run the task function for the URL
            const resp = await cluster.execute(req.query.url);
            // respond with the result
            res.status(200).send(resp);
        } catch (err) {
            // catch error
            res.end('Error: ' + err.message);
        }
    });

    app.listen(3000, function () {
        console.log('Server listening on port 3000.');
    });
})();

从REST API调用木偶

1 个答案: