如何阻止谷歌抓取/索引网站中的重复和非现有页面

Question

我希望谷歌停止我的网站中的抓取/索引重复和非现有页面。

谷歌索引页面通过从我的网站自动创建网址参数，然后没有任何意义/非现有网页，其中一些会产生重复的内容。

示例：

Google索引这些不存在的网址

http://www.example.com/url-pr1/url-pr2/?keyword=url-pr1&url-pr3=url-pr4

谷歌索引这些类型的网址，它会制作重复的内容

http://www.example.com/page.php?link=url-pr1&url-pr2=url-pr4
//duplicate for page like http://www.example.com/url-pr1/url-pr4/

我在网站管理员工具中添加了No-Urls的ulr参数，但Google仍然会为这些网址建立索引。

如何通过自动创建网址参数告诉谷歌这些网页不存在或内容重复，并且不能索引网页。

我应该使用重定向到404页面来获取没有意义的url参数，如果是的话，如何使用htaccess来实现它。

请参阅并建议任何可行的方法。

感谢。

Answer 1

如果网址实际上无效，您应该返回404响应，这会阻止Google将网页编入索引。

如果网址导致重复内容，则应确保该网页上有canonical URL。这将有助于Google认识到它是重复的