Google抓取XML文件

时间:2011-01-24 22:43:39

标签: seo google-sitemap

我需要xml文件来索引我的网站以进行Google抓取。我正在使用一些软件来制作XML文件。我的问题是我需要列出所有动态页面。我的意思是这样的:

http://mysite.com/page/?id=01
http://mysite.com/page/?id=02
http://mysite.com/page/?id=03
http://mysite.com/page/?id=04
http://mysite.com/page/?id=05

如果是,那为什么?如果我不包括它们并且只是说:

,将会发生什么

http://mysite.com/page/

如果我包含所有id,结果将是一个巨大的XML文件。谷歌是否接受这么大的文件,或者他们有限制吗?

提前感谢您的所有帮助和时间。

3 个答案:

答案 0 :(得分:1)

Google无论如何都不会将所有的动态网页编入索引。即使将它们放在sitemap.xml中,它也会抛出很多。内容太相似了。

sitemap.xml中的条目数量有限制它曾经是~50k页/ 10MB。根据我的经验,如果Google看起来太相似且没有入站链接,Google会抓取几千个并停止。

答案 1 :(得分:0)

您根本不需要XML站点地图。它只是让Google更容易抓取您的内容。 显然你不必把动态的东西放进去。

答案 2 :(得分:0)

如果这是一个真正的问题,请尝试阅读rel="canonical",这是为了从Google中排除这些类型的网页。虽然它的用处是基于用例,但您可能会发现它是适合您的解决方案。

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=139394