如何理解robot.txt文件代码

时间:2014-04-17 07:14:56

标签: robots.txt

hy,每个人, 是否有人可以帮助我理解代码 我想知道代码的含义或代码,我很难理解robot.txt文件中的这段代码。

Disallow: /?/*
in robot.txt

2 个答案:

答案 0 :(得分:0)

这是机器人的删除协议。此文件是向网络机器人提供有关其网站的说明和

"Disallow: /"

告诉机器人它不应该访问网站上的任何页面。

您会找到更多信息here

答案 1 :(得分:0)

此robots.txt文件主要用于SEO目的, 通过包含此文件,您可以提供您不想访问SEO的URL。 所以基本上,你不想为SEO设置哪些网址,只需在这个文件中写下这些网址,这样它就会从SEO中排除这些网址,google analytic