不要在Google搜索上为某些网页编制索引

时间:2017-12-20 13:55:12

标签: wordpress google-search robots.txt

是否可以不对Google搜索上的某些网页编制索引?

我正在使用WordPress。我听说过robots.txt可以阻止机器人抓取您的网站,但这与索引相同吗?它甚至可能吗?

1 个答案:

答案 0 :(得分:2)

  

The Web Robots Pages

     

Web机器人(也称为Web Wanderers,Crawlers或Spiders),是   自动遍历Web的程序。搜索引擎如   谷歌使用它们为网络内容编制索引,垃圾邮件发送者使用它们进行扫描   对于电子邮件地址,它们有许多其他用途。

从整个服务器中排除所有机器人

User-agent: *
Disallow: /

从服务器的一部分中排除所有机器人

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/