我可以举例说明吗
用户代理：* 不允许：/
在机器人中，然后包括我想要的所有链接，包括站点地图中的主页 和其他多个站点地图并将它们编入索引？ 这有用吗？
我注意到我们的竞争对手之一使用机器人来禁止链接，并且在那些完全相同的链接上使用rel = nofollow，但是使用广泛的站点地图来弥补它并将它们编入索引。我注意到这种方法对于链接较重且需要特定顺序的某些站点更好。
我可以这样做吗？
答案 0 :(得分：0)
受 robots.txt 限制的网页根本不会被编入索引。根据Google网站站长工具：
如果您的网站包含您不希望Google或其他搜索引擎访问的内容，请使用robots.txt文件指定搜索引擎应如何抓取您网站的内容。
将此类网址包含在 sitemap.xml 中也不会影响索引。