机器人Txt被阻止

Question

header("Content-Type: text/plain; charset=utf-8");
if ($_SERVER['SERVER_PORT'] == 443) {
echo "User-agent: *\n" ;
echo "Disallow: /\n" ;
} else {
echo "User-agent: *\n" ;
echo "Disallow: \n" ;
}

此代码在robots.php中的作用是什么？

我在我的服务器上发现它似乎阻止了搜索引擎索引的文本

Answer 1

当您在端口443上读取该页面时（通常保留用于安全连接），例如 https ：//yoursite.com/robots.php，返回的内容如下：

User-agent: *
Disallow: /

“用户代理：*”表示此部分适用于所有机器人。 “Disallow：/”告诉机器人它不应该访问网站上的任何页面。

否则（在任何其他端口访问的网页robots.php - http ：//yoursite.com/robots.php）返回的内容如下：

User-agent: *
Disallow:

在这种情况下，机器人可以访问网站上的任何页面。

同样header("Content-Type: text/plain; charset=utf-8");将页面内容显示为常规纯文本。