Google在同一页面上抓取了数以千计的链接

时间:2011-05-09 05:16:10

标签: web-crawler

我创建了一个包含数千个链接的页面,供谷歌抓取并索引通过单页链接访问的数千个页面中的所有数据。

我在设置4天后检查谷歌搜索结果。

谷歌似乎只抓取了数千个链接,因为只有少数链接出现在搜索结果中。

我甚至在google上搜索网站:过滤器。

有没有人知道为什么会这样。 。为什么所有这些千页都没有被谷歌索引,只有少数几个被随机挑选?

1 个答案:

答案 0 :(得分:2)

您可以查看此google页面: http://www.google.com/support/webmasters/bin/answer.py?answer=34439

Google抓取工具的本质是,如果您的网站很重要,它会抓取您的网站。

重要的含义是根据链接到您网站的超链接数量。你可以想象一个像雅虎这样的网站会有很高的排名。请查看PageRank算法。

您可能还想从Google查看此webmaster guide,以帮助您抓取更多网站。