我见过使用Robots.txt讨论的教程/文章。这仍然是必要的做法吗？我们还需要使用这种技术吗？
答案 0 :(得分：2)
Robots.txt文件不是必需的，但建议那些想要阻止搜索引擎抓取工具抓取您网站上的少量网页或文件夹的用户。
答案 1 :(得分：1)
我同意上述答案。 Robot.txt文件用于阻止搜索引擎抓取页面和文件夹。例如。您可以阻止搜索引擎抓取并索引创建的会话ID，这在极少数情况下可能会成为安全威胁！除此之外，我看不太重要。
答案 2 :(得分：1)
许多机器人在您的网站中抓取并对您的网页进行排名的方式最近也发生了变化。
我相信在很短的时间内使用Robot.txt可能会有相当多的帮助，但是对于搜索引擎优化你将采取的其他大多数选项都不会产生比这更小的影响.txt文件永远。
同样适用于反向链接，它们过去比现在排名更重要。
答案 3 :(得分：1)
Robots.txt不用于编制索引。它用于阻止您不希望搜索引擎索引的内容
答案 4 :(得分：1)
Robots.txt可以帮助您对大型网站进行索引，如果您使用它来显示XML sitemap file。
像这样：
Sitemap: http://www.domain.com/sitemap.xml
在XML文件中，您可以列出最多50,000个网址供搜索引擎索引。有许多内容管理系统的插件可以自动生成和更新这些文件。