我在robots.txt文件上出现问题,该文件的开头以某种方式添加了红点。
在我的代码中,我看不到任何点或空格或任何其他字符,但是在搜索控制台中会出现一个红色的点。
我试图将编码类型从UTF-8更改为ASCII,但是没有任何改变。请在下面找到错误的代码和屏幕截图。
public ContentResult BuilRobotsText()
{
StringBuilder sb = new StringBuilder();
sb.AppendLine("User-agent: *");
sb.AppendLine("Disallow: /multimedia/");
sb.AppendLine("Disallow: /fr-ca/media-gallery/details");
sb.AppendLine("Disallow: /en-ca/media-gallery/details");
sb.AppendLine("Disallow: /index.cfm");
sb.AppendLine("Disallow: /index.cfm/");
sb.AppendLine("Disallow: /en-ca/my-account");
sb.AppendLine("Disallow: /fr-ca/my-account");
sb.AppendLine("Disallow: /en-ca/error/");
sb.AppendLine("Disallow: /fr-ca/error/");
sb.AppendLine("Disallow: /*.html$");
sb.AppendLine("Disallow: /*.aspx$");
sb.AppendLine("Disallow: /*.aspx*");
var result = new ContentResult();
// Set the content-type
result.ContentType = "text";
//result.ContentEncoding = Encoding.UTF8;
result.ContentEncoding = Encoding.ASCII;
result.Content = sb.ToString().TrimStart();
return result;
}
任何帮助将不胜感激。预先感谢。