我有一个Tomcat服务器和几个Webapps(webapp1,webapp2,...)。
应该在哪里放置sitemap.xml
和robots.txt
个文件?
每个Webapp都需要一个sitemap.xml
个文件和一个robots.txt
文件吗?
我应该分别将sitemap.xml
和robots.txt
放在下面:
"where_tomcat_is_installed/webapps/webapp1/"
,
"where_tomcat_is_installed/webapps/webapp2/"
,
...
我不允许/WEB-INF/lib/
?
如果没有,将以下内容放入robots.txt
:
User-agent: *
答案 0 :(得分:3)
robots.txt
需要位于根文件夹中,而不是嵌套在某个webapp(或其中的多个)中。它引用sitemap.xml
,因此该文件必须是robots.txt
声称的文件。没有机器人会检查/some/path/to/robots.txt
,他们只会选择robots.txt
如果您在一台服务器上有多个网络应用程序,则必须将它们各自的配置合并到一个机器人/站点地图(好的,每个都是单个)文件中。