Google+ robots.txt中的这些行是什么意思?

时间:2011-07-28 23:58:10

标签: robots.txt

http://plus.google.com/robots.txt具有以下内容:

User-agent: *
Disallow: /_/

我假设这意味着允许搜索引擎将根目录中的任何内容编入索引并且没有进一步索引?

1 个答案:

答案 0 :(得分:4)

我相信这些行用于拒绝机器人访问网址 https://plus.google.com/_/apps-static/_/ss/landing/...https://plus.google.com/_/apps-static/_/js/landing/...

这些网址似乎主要是CSS,Javascript和JSON,但可能还有其他一些东西(对搜索引擎更有价值),这些东西并不是很明显。