如何禁止www.example.com和exsample.com上的搜索漫游器

Question

我想知道是否可以阻止我网站上的所有机器人。我遇到了麻烦，因为我将exsample.com重定向到www.exsample.com。 robots.txt检查工具说我在exsample.com上没有robots.txt文件，但是在www.exsample.com上有。

希望有人可以帮助我：）

Answer 1

只需创建一个名为robots.txt的文本文件，然后在此文件中编写以下内容

User-agent: *
Disallow: /

并将其放在www文件夹或public_html文件夹中

这会要求所有搜索引擎禁止网站的所有内容，但不是所有的搜索引擎都会认可这个协议，但最重要的搜索引擎会读取它并按照你的要求进行操作

Answer 2

Robots.txt适用于每个主机。

因此，如果您要屏蔽http://www.example.com上的网址，则必须可以http://www.example.com/robots.txt访问robots.txt。

请注意，子域很重要，因此您无法使用http://example.com上仅提供的robots.txt来阻止http://www.example.com/robots.txt上的网址。