* / robots.txt中的链接 - 这会阻止以/链结尾的所有网址还是仅仅网址?

时间:2013-04-13 09:37:06

标签: robots.txt

我有一个Rails应用程序,产品可以在以下位置找到产品:

mydomain.com/thisproduct

如果用户点击指向制造商网站的链接,则可以通过使用以下网址的“链接”功能来完成:

mydomain.com/thisproduct/link

谷歌似乎通过将该页面编入索引作为我的页面,而不是制造商网站的内容,对此进行了非常特殊的索引。所以,我想阻止它在robots.txt中编入索引。

This is my robots.txt:

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: /
Disallow: /sokresultat/*
Disallow: */link

最后一行是我的问题所在:

这会阻止以链接结尾的所有网址吗?更重要的是,会阻止其他任何事情吗?我担心这会通过通配符取消整个网站的索引。

1 个答案:

答案 0 :(得分:1)

似乎在经过一些额外的研究后,搜索引擎之间的通配符得到了不同的支持。这适用于Google,可以在Google网站站长工具中进行验证。