如何通过代理隧道从安全网站访问内容，无需身份验证

Question

我想从需要身份验证的网站上搜索/下载竞争对手。为此，我需要在CLI / Node.js应用程序和安全网站之间建立一些隧道而不进行任何身份验证。请参阅架构：

Scraper / downloader app -> [no passowrd] -> some proxy -> user (login) -> secured website with login / authentication

知道如何制作它吗？

Answer 1

根据目标网站处理身份验证的具体方式，您可以通过设置简单的node-http-proxy应用来解决问题。

这可能是解决方案（从文档中复制粘贴并修改）：

var http = require('http'),
httpProxy = require('http-proxy');

var proxy = httpProxy.createProxyServer({});

var server = http.createServer(function(req, res) {
  // Your mileage may vary here.
  req.setHeader("Authentication", "Basic mysecrettoken=");
  proxy.web(req, res, { target: 'http://127.0.0.1:5060' });
});

server.listen(5050);

有关详细信息，请参阅https://github.com/nodejitsu/node-http-proxy。