网站描述未在Google搜索引擎中显示

Question

我的网站说明未在Google搜索引擎中显示。

我在标头标签中写了描述元标记。

和我的robots.txt文件如下

User-agent: *
Disallow: /

当我在谷歌搜索时，我收到消息 由于此网站的robots.txt，因此无法获得此结果的说明 - 了解详情。

Answer 1

User-agent: *
Disallow: /

您已阻止所有机器人抓取您的网站。

只需删除该行即可启用漫游器抓取您的网站，或使用：

User-agent: *
Disallow:

robots.txt示例：

要从整个服务器中排除所有机器人（你拥有的东西！）

User-agent: *
Disallow: /

允许所有机器人完全访问（或只创建一个空的＆＃34; /robots.txt"文件，或者根本不使用一个）

User-agent: *
Disallow:

从服务器的一部分中排除所有机器人

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

排除单个机器人

User-agent: BadBot
Disallow: /

允许单个机器人

User-agent: Google
Disallow:

在http://www.robotstxt.org

了解有关robots.txt的详情