如何阻止搜索引擎抓取工具为Lemoon网站编制索引?

时间:2014-05-20 08:49:35

标签: lemoon

我们在Lemoon 4.5.1中创建了一个公共站点和一个测试站点,我们希望测试站点根本不被编入索引。是否可能,我们该怎么做?

我们在更新网站时使用网络部署包。因此,如果我们在测试站点中添加robots.txt,则每次部署时都会覆盖它。

编辑页面时,有一个" Meta Robots - NoIndex"设置,这可能适合我们,但我们希望避免编辑每一页。

1 个答案:

答案 0 :(得分:0)

我通过在网站上添加元数据密钥(AvoidSearchEngineIndexing)解决了这个问题。在每个页面使用的母版页中,我会检查它是否已设置,并调整漫游器元标记中的内容。

背后的代码

protected void Page_Load(object sender, EventArgs e)
{
    MetaRobotsContent = "index, follow";
    object avoidSearchEngineIndexing;
    if (Site.MetaData.TryGetValue("AvoidSearchEngineIndexing", out avoidSearchEngineIndexing) && ((avoidSearchEngineIndexing as bool?) ?? false))
    {
        MetaRobotsContent = "noindex, nofollow";
    }
}

protected string MetaRobotsContent { get; set; }

标记

<meta name="robots" content="<%= MetaRobotsContent %>