User-agent: *
Sitemap: https://somedomain.com/sitemap.xml
Disallow: /
Allow: /sitemap.xml
Allow: /some-page
Allow: /some-other-page
通过谷歌网站管理员工具手动提交站点地图后，它说它无法读取允许的页面，因为它们被robots.txt阻止。
如何修改robots.txt，允许对它们编制索引，但是将其余的门户网站页面保留为非索引？
答案 0 :(得分：0)
Google认识到新的/更新的robots.txt可能只是时间问题。
您可以在Google网站站长工具中“让Google更快地抓取并为您的网站编制新的robots.txt文件索引”：Submit your updated robots.txt to Google。
附注：作为the Sitemap field does not belong to a single record（作为协议defines：“独立于用户代理行”），您可能需要像这样构建robots.txt：
User-agent: *
Disallow: /
Allow: /sitemap.xml
Allow: /some-page
Allow: /some-other-page
Sitemap: https://somedomain.com/sitemap.xml