我需要一些帮助。我不确定mod_rewrite和robots.txt的请求顺序。
某些网址属于重写规则：
/index.php?id=123 to /home
其他网址没有重写：
/index.php?id=444
我将此条目录入了我的robots.txt：
User-agent: *
Disallow: /index.php?id
/ home 的网站是否会被搜索引擎编入索引？
答案 0 :(得分：3)
robots.txt文件由客户端（spider）解释，他们不知道您的系统中有哪些重写。因此，如果您的网站看起来像robots.txt中的模式，那么蜘蛛就不会从您的网站获取网址，但如果他们通过/home找到了相同的内容，则该网址会被提取。