Question

我想允许谷歌机器人： 1）只看主页面 2）在主页的搜索结果中查看描述

我有以下代码，但似乎它不起作用

User-agent: *
Disallow: /feed
Disallow: /site/terms-of-service
Disallow: /site/rules
Disallow: /site/privacy-policy
Allow: /$

我错过了什么，或者我只需要等待谷歌机器人访问我的网站？或者也许这是谷歌网站管理员面板需要的一些动作？

提前致谢！

Answer 1

你的robots.txt应该有用（是的，这需要时间），但你可能想要进行以下更改：

您似乎只想定位Google的僵尸程序，因此您应该使用User-agent: Googlebot代替User-agent: *（针对所有机器人中没有特定记录的机器人。））。
您似乎想要禁止抓取除主页之外的所有页面，因此无需在Disallow中指定一些特定的路径开头。

所以看起来像这样：

User-agent: Googlebot
Disallow: /
Allow: /$

Google的机器人可能只会抓取您的主页，没有其他内容。所有其他机器人可能会抓取所有内容。