允许在robots.txt中抓取root和images文件夹而不使用Disallow

时间:2018-03-08 11:10:40

标签: robots.txt

我的小网站包含根文件夹中的一些页面,一些文件夹(js,css,images)和站点地图。

/index.php
/whoweare.php
/contacts.php
/sitemap.xml
/images/
/css/
/js/

我希望Google只抓取网页(index.php,whoweare.php,contacts.php,sitemap.xml),图片文件夹和网站地图。

这是我的robots.txt,我不确定是否正确:

User-agent: *
Allow: /$
Allow: /images/
Allow: /sitemap.xml

在这种情况下我应该删除Allow: /$吗Google会抓取根文件夹中的php页面(我没有任何Disallow规则)?

0 个答案:

没有答案