使用.htaccess阻止Googlebot阻止以4到6位数字结尾的网址，REGEX？

Question

我们如何编写.htaccess来阻止Googlebot UA访问以正斜杠（后接4-6位数字）结尾的URL？

我们浪费了很多Googlebot抓取预算，因为它正在抓取“无索引”页面。

计划是使用.htaccess阻止UA阻止以正斜杠（后接4-6位数字）结尾的URL。

例如：

https://example.com/folder/folder/12563
https://example.com/folder/folder/125637
https://example.com/folder/folder/1563

我认为REGEX看起来像这样：

\/\d{4,6}$

但是如何配置.htaccesss，并且仅针对特定的UA（googlebot）？

谢谢！

Answer 1

您可以使用此：

where name like '% (1995)'

如果他们尝试访问您服务器上受限制的网址，这将为Googlebot返回RewriteEngine on RewriteCond ℅{HTTP_USER_AGENT} googlebot [NC] RewriteRule /\d{4,6}$ - [F,L] 。