阻止搜索引擎在其路径中索引包含3个或更多个forwarslashes的页面

Question

如何阻止搜索引擎在其路径中索引包含3个或更多个forwarslashes的网页？ 例如：

www.example.com/about.html ->ok
www.example.com/1/2/3/4/5/test.html -> no index!!!

我应该如何编写robots.txt？谢谢！

Answer 1

尝试

User-Agent: *
Disallow: /*/*/*/*

虽然我不确定所有机器人都支持*。