目前,我在Heroku上使用代理运行我的Puppeteer。在本地,代理中继完全正常。但是,我得到了错误错误:net :: ERR_TUNNEL_CONNECTION_FAILED。我已经在Heroku配置变量中设置了所有.env信息,以便它们均可用。
您知道如何解决此错误并解决问题吗?
我目前有
const browser = await puppeteer.launch({
args: [
"--proxy-server=https=myproxy:myproxyport",
"--no-sandbox",
'--disable-gpu',
"--disable-setuid-sandbox",
],
timeout: 0,
headless: true,
});
答案 0 :(得分:4)
代理服务器参数的正确格式为
--proxy-server=HOSTNAME:PORT
如果是HTTPS代理,则可以在进行导航之前使用page.authenticate
传递用户名和密码,
page.authenticate({username:'user', password:'password'});
完整的代码如下:
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({
headless:false,
ignoreHTTPSErrors:true,
args: ['--no-sandbox','--proxy-server=HOSTNAME:PORT']
});
const page = await browser.newPage();
// Authenticate Here
await page.authenticate({username:user, password:password});
await page.goto('https://www.example.com/');
})();
如果使用上述方法无法通过身份验证,则可能需要在其他地方进行身份验证。
有许多软件包可以执行此操作,其中一个是proxy-chain
,与此同时,您可以使用一个代理并将其用作新的代理服务器。
proxyChain.anonymizeProxy(proxyUrl)将使用一个具有用户名和密码的代理,创建一个可在脚本上使用的新代理。
const puppeteer = require('puppeteer');
const proxyChain = require('proxy-chain');
(async() => {
const oldProxyUrl = 'http://username:password@hostname:8000';
const newProxyUrl = await proxyChain.anonymizeProxy(oldProxyUrl);
// Prints something like "http://127.0.0.1:12345"
console.log(newProxyUrl);
const browser = await puppeteer.launch({
args: [`--proxy-server=${newProxyUrl}`],
});
// Do your magic here...
const page = await browser.newPage();
await page.goto('https://www.example.com');
})();