为什么它不抓取Googlebot索引页面?

时间:2009-12-25 16:41:42

标签: indexing search-engine web-crawler

三个月前,我发布了我的小型个人网站(约10页),将网址提交给谷歌,几天后Googlebot就出现了。在过去几周的过程中,Googlebot每周大约访问我的网站两次,并且可能每隔一页抓取一次。

自Googlebot首次抓取我的网站以来,每当我搜索site:example.com时,Google都会返回我的主页。 (有趣的是,Bing也是如此,所以问题可能不是谷歌特有的。)

我使用CodeIgniter构建了网站,主要是为了熟悉它。这很简单,只有几页关于我和我的项目。我没有使用任何黑帽SEO技术,JavaScript或类似的东西。

Googlebot抓取我的网页但不对其进行索引的可能原因是什么?

编辑: 我有一个网站站长工具帐户。没有抓取错误,列出了内部链接,但列出的关键字仅来自我的主页。

1 个答案:

答案 0 :(得分:4)

  • 创建XML网站地图,并在Google网站管理员工具中“告诉”Google相关信息
  • 确保您的10个页面具有卓越的内容 - 因为如果内容看起来相同,搜索引擎可以消除
  • 确保从主页链接到另外9页的链接。如果是这样的地方链接