我有一个Rails应用程序,产品可以在以下位置找到产品:
mydomain.com/thisproduct
如果用户点击指向制造商网站的链接,则可以通过使用以下网址的“链接”功能来完成:
mydomain.com/thisproduct/link
谷歌似乎通过将该页面编入索引作为我的页面,而不是制造商网站的内容,对此进行了非常特殊的索引。所以,我想阻止它在robots.txt中编入索引。
This is my robots.txt:
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: /
Disallow: /sokresultat/*
Disallow: */link
最后一行是我的问题所在:
这会阻止以链接结尾的所有网址吗?更重要的是,会阻止其他任何事情吗?我担心这会通过通配符取消整个网站的索引。
答案 0 :(得分:1)
似乎在经过一些额外的研究后,搜索引擎之间的通配符得到了不同的支持。这适用于Google,可以在Google网站站长工具中进行验证。