阻止机器人访问付费网址

Question

我有Laravel应用程序，它提供来自外部链接，付费链接的一些内容。问题是机器人正在访问所有这些链接，并且当这些机器人发出100000个请求时，在月末获取账单并不是那么有趣。

如何限制机器人和其他不受欢迎的访问者的访问权限？

Answer 1

完全同意@CharlesDuffy，现在如果你想要一些简单的东西，你可以修改Laravel限制率请求的方式。查看this package发出的Graham Campbell。

Answer 2

您应该只允许经过身份验证的用户使用routes/web.php中相应路由上的身份验证中间件访问这些高级链接：

Route::get('linkWhichCostsYouMoney', function () {
    // Only authenticated users may enter...
})->middleware('auth');

请参阅Laravel docs。

您还可以尝试禁止机器人使用robots.txt访问付费网页。这只会阻止好机器人，而不是坏机器人。

最后，根据您的应用程序，可以在本地缓存内容，并避免对每个请求使用付费服务。如果您希望搜索引擎为您的网页编制索引，包括付费内容，那么这就是您应该遵循的路径。