robots.txt错误：内容类型应为text / plain

Question

我正在使用名为Search Engine Optimization (SEO) Toolkit 1.0的软件测试我的网站，它显示以下错误：

  

“htpp：//mysite.com/robots.txt”响应的内容类型   是“text / html”。 Web服务器应返回“text / plain”作为   Robots.txt文件的内容类型。

我的robots.txt文件就是这样：

User-agent: * 
Allow: /

使用UTF-8保存，无BOM编码。

这是错的吗？

什么应该是默认的，无害的robots.txt文件？

谢谢！

Answer 1

这是MIME类型问题，需要在服务器中进行配置。

这是一个链接：http://www.nextthing.org/archives/2007/03/12/robotstxt-adventure

对于您的特定托管服务提供商，他们会插入一小段跟踪javascript。在注释中的客户服务支持之后禁用该功能，并且应该呈现mimetype。