Question

我正在尝试使用Puppeteer进行一些Web抓取，并且需要将其值检索到我正在构建的网站中。

我试图将Puppeteer文件加载到html文件中，就好像它是一个JavaScript文件一样，但是我一直遇到错误。但是，如果我在cmd窗口中运行它，则效果很好。

Scraper.js：

getPrice();
function getPrice() {
    const puppeteer = require('puppeteer');
    void (async () => {
        try {
            const browser = await puppeteer.launch()
            const page = await browser.newPage()              
            await page.goto('http://example.com') 
            await page.setViewport({ width: 1920, height: 938 })        
            await page.waitForSelector('.m-hotel-info > .l-container > .l-header-section > .l-m-col-2 > .m-button')
            await page.click('.m-hotel-info > .l-container > .l-header-section > .l-m-col-2 > .m-button')
            await page.waitForSelector('.modal-content')
            await page.click('.tile-hsearch-hws > .m-search-tabs > #edit-search-panel > .l-em-reset > .m-field-wrap > .l-xs-col-4 > .analytics-click')
            await page.waitForNavigation();
            await page.waitForSelector('.tile-search-filter > .l-display-none')
            const innerText = await page.evaluate(() => document.querySelector('.tile-search-filter > .l-display-none').innerText);
            console.log(innerText)
        } catch (error) {
            console.log(error)
        }

    })()
}

index.html：

<html>
  <head></head>
  <body>
    <script src="../js/scraper.js" type="text/javascript"></script>
  </body>
</html>

预期结果应该是Chrome控制台中的结果：

但我却收到此错误：

有什么想法吗？

提前谢谢！

Answer 1

它确实适用于浏览器。该程序包称为puppeteer-web，是专门为此类情况制作的。

但是要点是，必须在某些服务器上运行chrome的某些实例。只有这样，您才能连接到它。

使用Browserify捆绑Puppeteer：

克隆Puppeteer存储库：

git clone https://github.com/GoogleChrome/puppeteer && cd puppeteer
npm install
npm run bundle

这将创建包含Puppeteer捆绑包的./utils/browser/puppeteer-web.js文件。

您稍后可以在网页中使用它来通过其WS端点驱动另一个浏览器实例：

<script src='./puppeteer-web.js'></script>
<script>
  const puppeteer = require('puppeteer');
  const browser = await puppeteer.connect({
    browserWSEndpoint: '<another-browser-ws-endpont>'
  });
  // ... drive automation ...
</script>

我在玩木偶和webpack上玩得很开心，

请参阅以下答案，以全面了解创建服务器等内容，

如何在任何Web浏览器中运行Puppeteer代码？

1 个答案: