使用URL Shortener跟踪卷曲请求

Question

如何构建curl命令以使URL缩短器识别它？当我使用从bit.ly或goo.gl缩短的URL运行下面的命令时，任何一个服务都无法识别该请求。

curl -L "http://bit.ly/1efYimy"

Answer 1

大多数网址缩短程序都会进行各种形式的过滤和规范化，以便从他们报告的静态数据中排除“僵尸网络”流量。

如果您的请求数量很少，您可以通过更改curl报告的用户代理来计算您的请求。

curl -LA "MyApp 1.0" "http://bit.ly/1efYimy"

或

curl -L --user-agent "MyApp 1.0" "http://bit.ly/1efYimy"

请成为一名优秀的网络公民，并选择描述您正在做什么的用户代理，并提供一些如何找到/联系的参考（例如“MyCo Bot”在Google搜索MyCo时会将某人带到您的网站上公司）。

另请注意，虽然基于用户代理的过滤是完成机器人检测的一种形式，但各种服务将使用更复杂的措施来检测类似机器人的行为。因此，如果您最终发出大量请求，您的指标可能会停止递增，或者您甚至可能会被阻止/限制。