我有一个使用CodeIgniter构建的网站，我正在尝试使用Google的网站管理员工具，它告诉我设置robots.txt文件。我希望Google为整个网站编制索引，但不一定是构成网站的文件。所以我不希望看到/ system / files或/ application / config / files，但我确实希望每个页面都被编入索引。我应该列出每个文件供谷歌不要索引或告诉它索引所有或告诉它没有索引吗？ 谢谢！
答案 0 :(得分：3)
Google只会看到您网站提供的网页/网址。所以你不要阻止文件，你阻止页面。因此，您的robots.txt应包含您不希望编入索引的网址。幕后的文件无关紧要。