如何创建robots.txt文件以隐藏codeigniter中搜索引擎的视图页面

Question

如何在codeigniter项目中创建robots.txt文件以隐藏视图页面。我应该在哪里放置这个robots.txt文件 目前我已经创建了这样的文件

User-agent: *
Disallow: /application/views/myviewpage.php

在旁边 /public_html/folder/robots.txt（我放置.htaccess文件的位置）。有没有办法测试这个？

Answer 1

robots.txt文件必须放在主机的文档根目录中。它不适用于其他地方。

如果您的主持人是example.com，则需要http://example.com/robots.txt访问该主持人。

如果您的主持人是www.example.com，则需要http://www.example.com/robots.txt访问该主持人。