减少网址机器人的最佳方法已编入索引

Question

Google，bing和其他网络搜索引擎在我的网站不包含的索引中有大量的uris。我们可以说 http://www.mydomain.com?key=apple+banana+orange 。

尽管在我的网站中没有与此uri的直接链接，但它根据我自己的搜索引擎结果显示了一个很好的页面。 （php，mysql和其他东西）。问题是机器人正在吃掉我的服务器资源，因为有大量的访问权限，就像那个机器人一样。甚至最糟糕的是，有很多奇数字符串（不能说单词）。所有这些都降低了性能并且（我怀疑）降低了网站排名。

我只想保留所有那些真正存在的链接在我的网站中

• http://www.mydomain.com?key=apple 或

• http://www.mydomain.com?key=banana 或

• http://www.mydomain.com?key=orange （一个简单的单词键）

  并删除其他（组合，如第一个uri）。

我在一年前创建了一个谷歌站点地图。

我需要根据谷歌规则的解决方案。我唯一想到的是       if(strstr($_SERVER['QUERY_STRING'],'+')然后重定向到index.php 谢谢

Answer 1

如果您的索引页面查看了查询字符串并返回了一个实际上不存在的key的404 Not Found，那么它应该将它们从索引中删除。重定向可以表明URL实际上是有效的。

Answer 2

您可以使用“robots.txt”文件向网络漫游器提供有关您网站的说明。

您可以阅读有关如何设置here的信息。

修改

谷歌也在谈论robots.txt here。

Answer 3

我可以想到，有两种方法可以解决这个问题：
1.创建一个sitemap.xml（google it）
2.在Google网站管理员工具中开设一个帐户：http://www.google.com/webmasters/并声明所有权（5分钟流程）。
在您确认为网站所有者后，请登录您的网站管理员帐户，转到：网站配置 - ＆gt;附加链接
并且您可以选择降级您希望谷歌忽略的特定链接。