从Google Index中删除完整网站

时间:2011-05-16 17:27:07

标签: robots.txt google-webmaster-tools

我的网址是:http://LawMirror.com - (在线法律资源)

我想从Google Index中删除内容。谷歌索引包括我的网站在谷歌索引中索引的大量页面约5,000,000页面,但现在左页面是3,025,000。 我的网址是:http://LawMirror.com - (在线法律资源)

我想从Google Index中删除内容。谷歌索引包括我的网站大量的索引在谷歌索引中的页面约5,000,000页面,但现在左页面是3,025,000。

我做了以下事情,但删除页面的速度非常缓慢。

Robots.txt的

用户代理:*不允许:/

的.htaccess

rewriteengine on
rewritecond %{HTTP_USER_AGENT} ^.*Googlebot/2.1.*$
rewriterule .* - [G]

这是在尝试抓取内容时返回给Googlebot的内容

HTTP / 1.1 410已经过去了 日期:星期六,2013年1月5日12:39:23 GMT 服务器:Apache / 2.2.23(Unix)mod_ssl / 2.2.23 OpenSSL / 0.9.8e-fips-rhel5 mod_fastcgi / 2.4.6 mod_jk / 1.2.37 mod_auth_passthrough / 2.1 mod_bwlimited / 1.4 FrontPage / 5.0.2.2635 PHP / 5.3.19 内容长度:661 连接:关闭 内容类型:text / html;字符集= ISO-8859-1

我还使用了html元标记noindex,没有跟随但没有效果:

我还提交了网站删除,但删除内容的速度非常慢。在过去的35天里,只删除了少数页面。我的网站也已从谷歌搜索索引中删除,但谷歌网站管理员 - 健康 - >索引状态仍然显示3,025,000页面,如果我重新提交网站,他们将显示已编入索引的页面。如何提高删除页面的速度。

这是在尝试抓取内容时返回给Googlebot的内容

HTTP/1.1 410 Gone
Date: Sat, 05 Jan 2013 12:39:23 GMT
Server: Apache/2.2.23 (Unix) mod_ssl/2.2.23 OpenSSL/0.9.8e-fips-rhel5 mod_fastcgi/2.4.6 mod_jk/1.2.37 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 PHP/5.3.19
Content-Length: 661
Connection: close
Content-Type: text/html; charset=iso-8859-1

我还使用了html元标记noindex,没有跟随但没有效果:

<meta name="googlebot" content="noindex,nofollow">

我还提交了网站删除,但删除内容的速度非常慢。在过去的35天里,只删除了少数页面。我的网站也已从谷歌搜索索引中删除,但谷歌网站管理员 - 健康 - &gt;索引状态仍然显示3,025,000页面,如果我重新提交网站,他们将显示已编入索引的页面。如何提高删除页面的速度。

1 个答案:

答案 0 :(得分:0)

一种解决方案是每次请求页面时返回410。它将加速去索引。确保Html.HiddenFor中没有阻止任何网页。