robots.txt：禁止机器人访问给定的“网址深度”

Question

我有这种结构的链接：

• http://www.example.com/tags/的嗒嗒
• http://www.example.com/tags/的 blubb
• http://www.example.com/tags/ blah / blubb （适用于所有与BOTH标签匹配的商品）

我想要google＆amp; co to spider在URL中包含ONE标记的所有链接，但不包含具有两个或更多标记的URL。

目前我使用html元标记"robots" -> "noindex, nofollow"来解决问题。

是否有robots.txt解决方案（至少对某些搜索机器人有用）或者我是否需要继续使用“noindex，nofollow”并继续使用其他流量？

Answer 1

我认为你不能用robots.txt做到这一点。 The standard非常狭窄（没有通配符，必须位于顶层等）。

如何根据服务器中的用户代理禁止它们？