Google网站管理员工具会不断显示我的域名版本:
mysite.co.uk/?cat=
我已禁止使用每个网址?在它和上面显示的爬网错误:由robots.txt限制的网址
当我在.htaccess文件中有以下内容时,我根本不知道为什么会发生这种情况:
RewriteCond %{QUERY_STRING} ^cat=$ [NC]
RewriteRule ^(.*)$ http://misite.co.uk/? [R=301,L]
我认为以上应该是301重定向: mysite.co.uk/?cat= 至: mysite.co.uk/
如果我点击第一个网址,它实际上会转到浏览器中的第二个网址。
我还有几个类似的问题?如果有人告诉我如何正确地重定向它们以向Google展示这些已被永久删除并阻止它们被抓取,我将非常高兴。
答案 0 :(得分:0)
用于告知资源已永久删除的相应HTTP响应状态代码为410 Gone:
服务器上不再提供所请求的资源,并且不知道转发地址。预计这种情况将被视为永久性的。具有链接编辑功能的客户端应该在用户批准后删除对Request-URI的引用。 [...]
发送此响应状态代码将使搜索引擎从索引中删除请求的URI。但是如果仍然存在与该URI的链接,它们可能会被抓取。