可见文字无法访问机器人？

Question

我想在我的HTML中添加一些文字，不可供搜索机器人访问或编入索引。

是否可以在搜索机器人无法访问的网站上显示可见文字？

Answer 1

是的，有几种方法：

1。使用robots.txt拒绝访问（到目录，html页面）

User-agent: *
Disallow: /something.html

2。将robots元标记添加到您的html页面：

<meta name="robots" content="noindex">

3。使用<noindex>标记。请注意，所有搜索机器人都不支持它;

<noindex>this may be seen by some of them</noindex>

4。使用javascript（隐藏一些文本而不是整个页面）。

<script>document.write("Something");</script>

Answer 2

您可以在robot.txt文件中提及

希望这会有所帮助

http://www.ideaeng.com/tabId/98/itemId/161/5-ways-to-hide-content-from-your-search-engine-an.aspx

Answer 3

搜索引擎不执行javascript，因此您可以使用javascript注入文本。像这样的东西？

<span id="text">
<span/>
<script>
    document.getElementById("text").appendChild( document.createTextNode("You can't search me!") );
</script>

或者你可以在Flash中实现，这是搜索引擎不包括索引的另一项技术。

如果我错了，希望其他专家会纠正我：）

Answer 4

正如Prashant所提到的，您可以使用robots.txt文件来完全阻止对特定文件夹或文件的访问，或者您可以在页面中添加元标记，以便搜索引擎不对其编制索引。如果您只是希望页面中的特定文本块不可索引，那么您可以通过AJAX / JavaScript显示它，因为搜索引擎不会看到它。

Answer 5

用户技术和技术Charlemagne已经提到了一些很好的答案，但是这里有一些关于搜索机器人工作原理的更多见解：

好的搜索机器人将遵守规则＆amp;使用元标记，没有索引标记等...＆amp;尊重网站管理员希望隐藏内容的愿望。

新手搜索机器人的作者可能会写他们的机器人只是抓取页面＆amp;不尊重任何robots.txt规则。专业机器人作家将遵守我的搜索机器人所做的robots.txt规则。

另一种方法是将其添加到登录门后，因为搜索机器人通常无法抓取用户必须登录以访问该内容的页面。该规则有一个例外。即使有登录门和如果网站生成静态.html文件，机器人仍然可以爬到围栏后面看内容。使用静态.html页面就像在围栏中有一个洞。当检测到登录用户的cookie或会话变量时，页面必须通过脚本（.php，.cgi，节点服务器端.js文件等）动态生成。

搜索机器人不执行JavaScript的原因是因为搜索引擎机器人的作者只是简单地在链接＆amp;页面上的文字＆amp;他们不想在他们的search engine results page（SERP）中看到JS代码。搜索机器人将每个页面作为一串文本提取。他们会看到该页面上的所有内容。然后机器人解析页面以提取页面的内容，但它不会执行页面上的任何代码。搜索引擎的作者没有任何目的eval()找到的JavaScript代码 ，但搜索机器人肯定会看到它！ 作者只是想在他们的数据库中插入文本＆amp;寻找更多链接。他们对在该JS代码上运行任何客户端处理不感兴趣，只是为了找到更多链接＆＃34;。他们已经可以看到页面上的所有链接＆amp;是的，甚至从JS层中的<script>标签中提取它们。