我在亚马逊AWS Cloud S3存储桶上有一个静态网站。该网站使用CloudFront提供。
在广告管理系统属性下的静态网站托管设置中,我已将网页error.html
指定为错误文档。现在,只要有人访问不存在的页面,我的自定义错误文档 - error.html内容就会与404标头一起提供。那很好。
问题是当有人直接导航到https://www.example.com/error.html时,error.html的HTTP状态代码为200.这意味着此页面可以被搜索引擎机器人抓取并编入索引
我该怎么做这个页面?
我是否应该只将 noindex 添加到error.html <head>
中:
<meta name="robots" content="noindex">
或者某种方式更改S3 / CloudFront设置中的标题响应?怎么样?
答案 0 :(得分:0)
拥有错误页面响应的404响应代码足以让Google从索引中忽略错误页面。更多信息请查看Google 404 Soft Errors。
但是直接访问url时发送404响应代码,不一定只能使用S3。为此,您需要使用CloudFront或面向S3的WebProxy。