我有一个有大量新闻的新闻聚合网站...... 如果主页上的单个新闻有文字，那么该链接将重定向到源网站www.site.com/red/23545，但如果相同的新闻没有任何文本只是标题，那么它获取此链接这不是重定向，而是转到我网站上的其他页面www.site.com/23545/some_news_title
因此，某些页面上的相同新闻可以包含文本，然后在源页面或仅包含标题的某些页面上重定向，并获得指向站点内页面的正常链接。
问题在于谷歌正在为重定向链接编制索引（www.site.com/red/23545）。
我添加了
Disallow: /red/
到我的robots.txt
我还添加了
rel="nofollow"
到所有重定向链接
但是它不起作用......它仍然被索引......
我使用重定向链接的原因是为了防止屏幕抓取我的网站..如果有人在没有我的域作为推荐人的情况下进入重定向链接，他将被重定向到我的坐位而不是新闻源页面。 ..
任何帮助都将不胜感激。
谢谢！
答案 0 :(得分：2)
您可以在重定向页面上添加以下标题，以防止它们被编入索引：
X-Robots-Tag: noindex
但是，我很惊讶你的robots.txt没有用。你有多长时间使用robots.txt文件？这些事情确实需要一些时间才能生效。您可以通过Google网站站长工具删除Google索引中的链接来加快此过程。