为robots.txt编写测试（rails 4）

Question

处理机器人并不是我经验丰富的事情。所以我觉得我想写一些测试来检查我的robots.txt文件是否按照我的意愿行事。

是否有标准（或任何）方式编写测试以检查Disallow规则是否按预期工作？

澄清编辑： 通过测试我的意思是rspec控制器规范，它们的行为就像是来自机器人，然后断言响应被允许或阻止。