机器人元标记否索引删除索引URL

时间:2012-03-27 06:37:20

标签: url-rewriting seo duplicate-removal google-webmaster-tools

我们有一个大约15000页的应用程序。出于更好的SEO原因,我们不得不更改URL。谷歌早先已经抓取了所有这些页面,由于这一变化,我们在网站管理员身上看到了很多重复的标题/元描述。我们对谷歌的印象已经下降,我们相信这就是原因。如果我的假设不正确,请纠正我。现在我们无法使用301重定向为URL的更改编写正则表达式,因为更改是这样的。唯一的方法是为单个URL编写301重定向,这对于10000个URL是不可行的。现在我们可以使用NOINDEX的机器人元标记吗? 我的问题基本上是,如果我写一个NOINDEX元标记将google删除已经编入索引的网址?如果没有其他方法从google中删除旧的索引网址?我可以做的另一件事是让所有以前的页面404错误以避免重复,但这是正确的做法吗?

2 个答案:

答案 0 :(得分:0)

重新索引很慢

Google无论如何都要忽略旧版网址。

使用Htaccess 301重定向

您可以在Apache服务器上添加一个名为.htaccess的文件,该文件能够列出所有旧URL和新URL,并让用户立即重定向到新页面。你能生成这样的文本文件吗?我相信你可以循环浏览应用程序中的各个部分,然后生成一个URL列表。

使用以下语法。

 Redirect 301 /oldpage.html http://www.yoursite.com/newpage.html 
 Redirect 301 /oldpage2.html http://www.yoursite.com/folder/

这可以防止404 File Not Found错误,并且优于元刷新或重定向标记,因为旧页面甚至没有提供给客户端。

我为一个经历过最近升级的网站做了这个,并且由于谷歌一直指向较旧的文件,我们需要重定向客户端以查看新内容。

哪里是.htaccess?

转到您网站的根文件夹,创建/下载.htaccess文件到本地计算机,然后使用纯文本编辑器(即记事本)进行编辑。如果您使用的是FTP客户端软件,并且在服务器上看不到任何.htaccess文件,请确保您正在查看不可见/系统文件。

答案 1 :(得分:0)

  

现在我们无法为更改编写正则表达式   URL使用301重定向,因为更改是这样的。唯一的办法   要做的就是为个别网址写301重定向   不适用于10000个URL。

当然可以!我用mod_rewrite和RewriteMap重写超过15000个URL! 这只是脚本/回显所有URL和掌握vim的问题,但您可以轻松地完成。如果您需要更多信息,请询问。

你可以做的是像这样的RewriteMap文件:

/baskinrobbins/branch/branch1/ /baskinrobbins/branch/Florida/Jacksonville/branch1

我已经做出了很大的回答here,您可以很轻松地根据自己的需求进行调整。

我可以在1-2小时内完成这项工作,但我很贵 ;)