我开发了一个网站，并使其联机，但是访问日志文件时，我得到了
消息：“没有匹配的路线。”堆栈跟踪 ： 核心\路由器-> dispatch（'robots.txt'）
在Google中进行少量搜索后，我发现robot.txt文件对于搜索引擎（Google，Bing等）来说更重要
它有助于停止对某些页面的爬网，但是我的问题是我需要使用它阻止哪些页面（哪些页面）以及如何停止某些特定的路线。
例如，我的管理路线始终以 / ad-dash
示例： / ad-dash / administration / index
当我进行搜索时，我发现一些教程阻止了about，privacy，terms页面
我的问题是：我想知道要停止使用Robots.txt进行爬网的哪些页面？