302链接到最终URL的最快方法是什么？

Question

给出链接http://bit.ly/2994js

使用哪种最有效的方法或库可以让你到达bit.ly，fb.me等的最终网址...在302重定向之后？假设这一天的规模为1000万以上，并具有跨服务器扩展的能力。

Java HttpClient？ PHP与cURL？ 其他

Answer 1

实施语言在性能方面不太可能发生太大的变化 - 几乎无所事事。这都是网络延迟。使用自定义网络堆栈可能有帮助，但除非我真的需要，否则我不会打扰。

我不确定302响应是否仍然可以使HTTP 1.1保持连接 - 但如果可以，那真的可以是一个福音。除非有某种方法将cURL置于批处理模式，否则这也是使用cURL（将为每个URL启动一个新进程，需要新连接）的对的参数。 （可能值得调查。）

重要的是要确保你没有认真对待任何服务器它认为你正在发起DDOS攻击，而是在这个限制内尽可能多地并行发出请求。

请注意，每天10,000,000只是每秒约116个请求。如果你有足够的网络连接并且目标服务器没有阻止你，那就不难实现。

Answer 2

cURL最快。所以，如果你想要绝对的速度，那就去编写一个用cURL来做的bash脚本。

但是，提出超过10万的请求可能会很快阻止您的IP。

Answer 3

对于bit.ly，有一个API调用（expand），它从缩短的URL中获取目标URL。其他URL缩短服务可能具有类似的API调用。在这些情况下，您不必处理重定向。