所以我很依赖这个相当令人讨厌的项目，客户的客户对这些小事情都非常挑剔，并且他正在给我的家伙地狱，他很乐意通过遵循良好的旧规则来支持他们。命令。
现在我的问题。该应用程序基本上包括3个不同的迷你项目。管理员的后端界面，客户端的后端界面和每个人的前端。
我被特别要求应用MOD_REWRITE规则以使SEO友好。这是最终的目标，所以这基本上是一种让搜索更友好的练习，而不是让链接更美观。
所以我在前端工作，这基本上是每个人的登陆页面。它看起来很漂亮，链接最坏，然后是一个反斜杠。
我的客户问题。他想知道为什么管理员和用户的后端界面仍然显示那些巨大的丑陋链接。这些是非常非常难看的链接，我说的是三到四个反斜杠，然后是各种获取序列，什么不是，所以你可以理解MOD_REWRITING背后的复杂性，比如这个。
在一瞬间，我说我离开它是为了确保后端界面不会被任何爬虫嗅到。 但我不确定这是否一定是真的。爬行者在哪里停下来？他们什么时候放弃尝试解析链接？我知道我可以使用.robot文件来指定规则。但是，作为土着生物，他们的直觉是什么？
我知道这更像是一种咆哮而且我冒第一个问题被拒绝的风险非常高：但是，嘿，把它放在胸前感觉很好。
干杯！
答案 0 :(得分：1)
爬虫停在哪里？他们什么时候放弃尝试解析链接？
Robots.txt并不适用于所有机器人。
如果前端不需要文件，您可以使用基本身份验证或IP限制访问来隐藏后端。
如果不切实际，请尝试为后端文件发送404或401标头。但这只是一个想法，不能保证。
但是，作为土着生物，他们的直觉是什么？
超链接，工具栏和浏览器支持的预先激活的恶意软件，垃圾邮件和欺诈警告功能......