开放代理列表

Question

我们希望获取一个开放代理列表，目的是禁止源自这些IP的邮件通过我们的系统。似乎没有任何东西甚至类似于网络上的权威列表，更不用说采用不需要解析的简单格式。

之前有没有人这样做过，如果有的话，你是怎么处理的？

Answer 1

你注定要失败 - 代理人会四处走动并不断变化。没有列表可能会有相当数量的列表。还有像tor这样的东西，允许任何人成为隐藏用户网络的代理。

通常，为了应对这种情况，您需要将服务器设置为拒绝访问过多流量的IP，或者其他一些指示它们没有任何好处的指标。

Answer 2

只需探测传入的IP。这就是大多数IRC网络阻止代理连接到它们的行为。

Answer 3

我发现这两个答案都不是很好/完全，我会再试一次。

如果您想要100％准确的检测，您将无法成功，但您绝对可以让滥用者更难！ rmeador对于永久变化的代理世界是正确的，这不是一件容易的事。

有各种不同类型的代理和IP更改服务/方法，您需要全部覆盖它们。

Proxycollective的统计数据提供了一个很好的线索（http://proxycollective.com/?tab=stats），这是一个具有商业背景的免费公共代理服务。 在过去的两年里，这个网站独自提供了650,000多个代理！ 从他们所有人中只有几千人现在还活着。

Tor被提及是匿名网络，基于Cloakfish（http://cloakfish.com/），他是商业Tor提供商，您可以尝试估算每月Tor出口节点的数量：他们每月从Tor提供大约25,000种不同的IP 所以这也是一个令人难以置信的巨大数字！
这些只是来自一个匿名网络（好吧，Tor可能是最大的）。

现在有私有代理提供商（例如http://seo-proxies.com），这又是大量的IP。
不要忘记，拥有 DSL 的人通常可以轻松更改他们的IP，这只是30-60秒的延迟，他们还有另一个。

一种选择是您尝试自己跟踪这些代理，并且说实话，这是一项技术挑战性任务。
您还可以测试开放代理的传入IP，但这很可能几乎全部丢失，并且会导致延迟。这对于IRC来说是可以接受的，但通常不适用于网站。

我知道有两家公司提供代理检测作为商业服务，主要针对支付交易网站作为“风险分析”服务。
查看Maxmind（http://maxmind.com）和IP2Location（http://ip2location.com）。缺点是每个数据库请求都要花钱，根据您的访问者，它可能会成为一个昂贵的解决方案，我不知道他们可以提供的“正面率”。

所以我的眼睛里有3个选项：

• 尝试自己跟踪代理，这是最难的解决方案。
• 使用跟踪代理的服务并为每个请求付费。
• 使用过滤技术，例如Craigslist，但他们没有 立即阻止任何人。他们使用不断变化的垃圾邮件过滤器 这是在发布帖子后几分钟甚至几小时应用的。所以 成功发布内容的人真的不知道是不是 是成功的，因为它可能会再次消失。这通常被称为 “鬼影”。

Answer 4

TheProxIsRight（https://theproxisright.com/#apidemo）提供了一个REST API，允许用户提出如下问题：

• 获取当前有效的代理
• 获取高可用性低延迟代理
• 按国家/地区获取代理
• 这是当前/曾经是一个活跃的代理

它不会包含所有内容，但目前在DB中有~300K代理。