通常我有这个网址结构：
http://example.com/team/name/16356**
但有时我的CMS会生成没有名称的网址：
http://example./com/team//16356**
然后是 404 。
如果这些网址为空，如何拒绝这些网址？
可能这里有空符号的正则表达式，但我不想搞砸Googlebot，从一开始就做得更好。
答案 0 :(得分：0)
如果您要阻止http://example./com/team//16356**等网址，其中数字部分可能不同，您可以使用以下robots.txt：
User-agent: *
Disallow: /team//
这将阻止抓取路径以/team//开头的任何网址。