我想确保理解这一点：
这是：<meta content="noindex, nofollow" name="robots" />网页的<head>
与：
相同Disallow: /example-page.html 中的 Robots.txt
右？
答案 0 :(得分：1)
in the <head> of a webpage is the same as:是的，如果您在谈论<head>的{{1}}。唯一的区别是，当您对元标记中的机器人进行限制时，蜘蛛仍会请求该页面。如果该页面由任何服务器端脚本生成，并且您计算它显示的次数或收集与此页面的访问相关的任何其他信息（例如，来自访问日志），这可能是必不可少的。
bot（来自普通搜索引擎的有效机器人）将访问该页面，读取元标记，然后不对其进行索引，而example-page.html中的记录将不会执行该页面的请求通用蜘蛛或robots.txt的{{1}}部分中提到的蜘蛛。