robots.txt排除包含特定部分的网址

Question

我有这样的网址：

• www.wunderwedding.com/weddingvenues/share-weddingvenue/175/beachclub-all-good
• www.wunderwedding.com/weddingvenues/share-weddingvenue/2567/castle-rock

由于这些网址不再存在，我想通过robots.txt禁止googlebot访问包含'/ share-weddingvenue /'的网址

这会实现吗？

User-agent: *
Disallow: */share-weddingvenue/*

Answer 1

不，可能它不起作用。 Here您可以在robots.txt

中找到一个很好的概述

  

另请注意，User-agent或Disallow行不支持globbing和正则表达式。

如果内容消失了，您最好确保返回Status 410错误。

Answer 2

由于这里只允许使用少数正则表达式，因此代码为：

Disallow: weddingvenues/share-weddingvenue/

有关此主题的更多信息，请访问：http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449