Question

我们有一个基于codeigniter的网站，在子目录中有一个wordpress博客。 /博客。

通过使用Google网站管理员工具和搜索结果 - 我们看到主要针对主页的重复内容，并在域名后显示以下内容。

例如，在google上搜索google for site：domainname.com显示：

domainname.com/?author=1
domainname.com/?author=2
domainname.com/?cat=1
domainname.com/?cat=3
domainname.com/?cat=4
/?feed=rss2&tag=drinking-establishments
/?feed=rss2&tag=fun
/?feed=rss2&tag=introduction

这些似乎是从wordpress博客生成的，而我们不确定如何修复？

Answer 1

您可以使用robots.txt文件告诉Google他们应该（并且不应该）在您的网站上寻找什么。

robots.txt文件应该位于此处：example.com/robots.txt

从WordPress Codex中获取的示例robots.txt： http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

Sitemap: http://www.example.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

背景阅读： http://en.wikipedia.org/wiki/Robots_exclusion_standard

网站使用Google网站管理员检测到重复内容

1 个答案: