Liferay robots.txt新线消失了

Question

我试图从搜索引擎中排除我的所有liferay测试环境。 由于分隔符不起作用，新行正在消失并且\ r \ n或\ n。

这是我的机器人档案：

User-agent: *
Disallow: /

这是我的web.xml片段：

<filter>
      <filter-name>RobotKiller</filter-name>
      <filter-class>com.robot.kill.KillARobot</filter-class>
</filter>

<filter-mapping>
      <filter-name>RobotKiller</filter-name>
      <url-pattern>/robots.txt</url-pattern>
</filter-mapping>

domain / robots.txt：

User-agent: *Disallow: /

Answer 1

我想我知道问题所在。此文件上的Content-Type HTTP header设置不正确。如果内容类型设置为text/html，则将其设置为text/plain。

当您在浏览器中查看文件时，它会解释它是HTML，它将新行视为空格。您应该能够使用浏览器的视图源功能来正确查看格式。

robots.txt文件可能适用于搜索机器人，即使内容类型标头不正确，但最好不要冒任何机会。