这很奇怪。在我的apache error_log中,当谷歌抓取我的网站时,我收到错误,找不到该文件,但我能够正常访问所有有效的网址,而不会在日志中产生任何错误。我似乎无法自己重现错误。
有人建议使用allowoverride,但如果我使用它,那么我就开放了使用.htaccess文件的能力,我不想这样做,因为我不希望黑客入侵。
google是否使用某种特殊参数来尝试访问这些网址?
我大量使用Mod_rewrite,我总是在apache配置中的每个规则中使用NC和L标志。
答案 0 :(得分:0)
Google和其他人,当他们抓取动态网页时,删除会话ID和其他人......
允许搜索漫游器抓取您的网站而不使用会话ID或参数 跟踪他们通过网站的路径。这些技术很有用 用于跟踪个人用户行为,但是机器人的访问模式 完全不同。使用这些技术可能会导致不完整 索引您的网站,因为机器人可能无法消除那些网址 看起来不一样但实际上指向同一页面。
如果您在缺少参数后重定向...