Question

Google刚刚在我使用的链接跟踪器上发现了数千个重复内容错误。

我想让它成为Google＆amp;任何其他搜索引擎都不会访问链接跟踪器上的我的页面。

我希望这些网页禁止使用这些机器人，我的网页是：

http://www.site.com/page1.html
http://www.site.com/page2.html

我如何编写robots.txt以使所有机器人在我的页面中都不会访问这些链接？

Answer 1

创建包含以下文字的robots.txt：

User-Agent: *
Disallow: /page1.html
Disallow: /page2.html

然后必须将文件放在http://www.site.com/robots.txt。

有关详细信息，请参阅Wikipedia。

此外，Google还有一个robots.txt tester，可通过其网站站长工具获取，它可让您验证其格式是否正确。

Answer 2

robots.txt必须放在您网站的根目录中，广告中包含：

User-agent: *
Disallow: page1.html
Disallow: page2.html

“User-agent：*”表示每个SE都不会关闭disallow dirs / pages上的链接

编辑：您还应该将此元标记放在page1和page2

中

<meta name="robots" content="NOINDEX, NOFOLLOW"/>