Robot.txt noindex

时间:2016-01-15 12:08:37

标签: robots.txt noindex

我有2个网站。第一个是“test-www.xxxxxxx.net”,另一个是“www.xxxxx.net”。我想制作一个动态的无索引元标记。谷歌机器人可以索引我的实时网站,但我不希望它为我的测试网站。 Normaly我可以在_Layout.cshtml中添加一个属性并使其动态化,如下所示。

@if (!Helper.IsLiveSite())
    {
        <meta name="robots" content="noindex">
    }

有没有办法可以在robot.txt文件中创建它?它写在一些文章中“我强烈建议您尽可能使用Noindex。

所以请帮忙!我怎么能在robot.txt中做到这一点。我不知道下面的文件是否会产生错误。

User-agent: *
Disallow: /styles/
Sitemap: http://xxxxxx/sitemap/sitemap.xml
Noindex: test-www.xxxxxxx.net/*
Noindex: http://test-www.xxxxxxx.net/*
Noindex: https://test-www.xxxxxxx.net/*

感谢。

1 个答案:

答案 0 :(得分:1)

您不能禁止使用robots.txt¹进行索引,只能抓取(使用Disallow)。

如果您要禁止抓取测试网站上的所有文档,则必须上传可从test-www.xxxxxxx.net/robots.txt访问的robots.txt:

User-agent: *
Disallow: /

(此robots.txt文件 not 也可从您的实际网站访问。)

搜索引擎(支持robots.txt的搜索引擎)将不再访问此主机上的(抓取)网址。如果他们以某种方式找到该主机上的文档的URL(例如,如果另一个页面链接到它们),他们可能会列出( index )它们。

¹谷歌支持(可能仍然支持)此experimentally