我的小网站包含根文件夹中的一些页面,一些文件夹(js,css,images)和站点地图。
/index.php
/whoweare.php
/contacts.php
/sitemap.xml
/images/
/css/
/js/
我希望Google只抓取网页(index.php,whoweare.php,contacts.php,sitemap.xml),图片文件夹和网站地图。
这是我的robots.txt,我不确定是否正确:
User-agent: *
Allow: /$
Allow: /images/
Allow: /sitemap.xml
在这种情况下我应该删除Allow: /$
吗Google会抓取根文件夹中的php页面(我没有任何Disallow
规则)?