使用robots.txt只抓取我的站点地图

时间:2012-10-15 19:23:09

标签: seo robots.txt

我想阻止谷歌抓取我的整个网站 - 除了站点地图,我可以使用它来告诉谷歌优先级&最后更改等.. 这是一个坏主意吗? 我将如何在robots.txt中执行此操作?

1 个答案:

答案 0 :(得分:0)

如果您在Google Crawler中关闭整个网页,那么Google也不会抓取Sitemap.xml。

由于