木偶爬行者-错误:net :: ERR_TUNNEL_CONNECTION_FAILED

时间:2019-02-12 16:35:49

标签: javascript proxy web-crawler puppeteer

目前,我在Heroku上使用代理运行我的Puppeteer。在本地,代理中继完全正常。但是,我得到了错误错误:net :: ERR_TUNNEL_CONNECTION_FAILED。我已经在Heroku配置变量中设置了所有.env信息,以便它们均可用。

您知道如何解决此错误并解决问题吗?

我目前有

 const browser = await puppeteer.launch({
      args: [
      "--proxy-server=https=myproxy:myproxyport",
      "--no-sandbox",
      '--disable-gpu',
      "--disable-setuid-sandbox",
      ],
      timeout: 0,
      headless: true,
    });

1 个答案:

答案 0 :(得分:4)

page.authentication

代理服务器参数的正确格式为

--proxy-server=HOSTNAME:PORT

如果是HTTPS代理,则可以在进行导航之前使用page.authenticate传递用户名和密码,

page.authenticate({username:'user', password:'password'});

完整的代码如下:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
        headless:false,
        ignoreHTTPSErrors:true,
        args: ['--no-sandbox','--proxy-server=HOSTNAME:PORT']
  });
  const page = await browser.newPage();

  // Authenticate Here 
  await page.authenticate({username:user, password:password});
  await page.goto('https://www.example.com/');
})();

代理链

如果使用上述方法无法通过身份验证,则可能需要在其他地方进行身份验证。

有许多软件包可以执行此操作,其中一个是proxy-chain,与此同时,您可以使用一个代理并将其用作新的代理服务器。

proxyChain.anonymizeProxy(proxyUrl)将使用一个具有用户名和密码的代理,创建一个可在脚本上使用的新代理。

const puppeteer = require('puppeteer');
const proxyChain = require('proxy-chain');

(async() => {
    const oldProxyUrl = 'http://username:password@hostname:8000';
    const newProxyUrl = await proxyChain.anonymizeProxy(oldProxyUrl);

    // Prints something like "http://127.0.0.1:12345"
    console.log(newProxyUrl);

    const browser = await puppeteer.launch({
        args: [`--proxy-server=${newProxyUrl}`],
    });

    // Do your magic here...
    const page = await browser.newPage();
    await page.goto('https://www.example.com');
})();