所以我在同一个域名中有一个常规网站和一个博客。在未来，我计划专门为博客购买一个域名，但现在这就是我要这样做的方式。
博客位于/blog目录中，并且没有从主站点到博客的链接。所以我认为机器人无法到达那里。
有没有办法使用robots.txt将机器人发送到特定目录？
除了在主站点中添加链接之外还有其他解决方案吗？
答案 0 :(得分：1)
您可能希望使用站点地图来实现
机器人排除标准，也称为机器人排除 Protocol或robots.txt协议，是一种防止的约定 合作的网络爬虫和其他网络机器人访问所有或 公开可见的网站的一部分。机器人是 搜索引擎经常使用它来分类和存档网站，或 由网站管理员校对源代码。标准是不同的 来自，但可以与 Sitemaps，机器人包含一起使用 网站的标准。