如何为前端和后端Web服务器实现robots.txt文件？

Question

• 前端Web服务器：IIS 7.5
• 后端Web服务器：Tomcat 5.5.28。
• 两者都在同一台机器上。
• IIS使用AJP Connector - isapi过滤器 - 将适当的请求传递给Tomcat。

IIS正在使用robots.txt文件来阻止网络抓取工具访问网络文件。它的位置是inetpub\wwwroot\robots.txt。这是它的内容：

 User-agent: *
 Disallow: /

Tomcat应用程序位于inetpub\wwwroot\tomcatapp\目录中。换句话说，任何包含tomcatapp目录的请求都会从IIS转发到Tomcat。

我是否需要在Tomcat上下文中添加额外的robots.txt文件（即tomcatapp），如果是这样，我在哪里放置它？我问，因为我不知道搜索机器人是否只读取前端Web服务器，或者他们是否也能够读取后端Web服务器。

非常感谢您的帮助。

Answer 1

robots.txt仅在您网域的根文件夹中有意义。它根本不是一个安全方面，只是暗示“友好”的搜索引擎，让他们知道你希望他们索引的页面。

不要将Tomcats应用程序放在wwwroot文件夹中，因为如果AJP映射失败，则可以访问所有目录和文件。将它放在其他地方并映射到该目录，因此只有Tomcat才能访问它。