所以我不得不禁止搜索引擎索引我们的REST Web服务响应（它是Sitecore网站）;所有这些都在URL中具有相同的名称，但显示在服务器层次结构中的不同级别，我想知道我是否可以写一个＆＃34; catch all＆＃34;在我们的机器人文件中输入，或者如果我注定要写一个广泛的列表。
我可以添加类似
的内容吗？Disallow: */ajax/*
捕获名为＆＃34; ajax＆＃34;的所有文件夹无论它们出现在哪里？
答案 0 :(得分：2)
robots.txt规范并未说明通配符，但Google（Google Robots.txt Specifications）和Bing允许在robots.txt文件中使用通配符。
Disallow: */ajax/*
无论disallow的嵌套级别是什么，您的/ajax/对所有/ajax/网址都有效。
答案 1 :(得分：1)
您应该可以使用Disallow: /*ajax。类似的问题在这里：
How to disallow service api and multilingual urls in robots.txt