我需要xml文件来索引我的网站以进行Google抓取。我正在使用一些软件来制作XML文件。我的问题是我需要列出所有动态页面。我的意思是这样的:
http://mysite.com/page/?id=01
http://mysite.com/page/?id=02
http://mysite.com/page/?id=03
http://mysite.com/page/?id=04
http://mysite.com/page/?id=05
如果是,那为什么?如果我不包括它们并且只是说:
,将会发生什么如果我包含所有id,结果将是一个巨大的XML文件。谷歌是否接受这么大的文件,或者他们有限制吗?
提前感谢您的所有帮助和时间。
答案 0 :(得分:1)
Google无论如何都不会将所有的动态网页编入索引。即使将它们放在sitemap.xml中,它也会抛出很多。内容太相似了。
sitemap.xml中的条目数量有限制它曾经是~50k页/ 10MB。根据我的经验,如果Google看起来太相似且没有入站链接,Google会抓取几千个并停止。
答案 1 :(得分:0)
您根本不需要XML站点地图。它只是让Google更容易抓取您的内容。 显然你不必把动态的东西放进去。
答案 2 :(得分:0)
如果这是一个真正的问题,请尝试阅读rel="canonical"
,这是为了从Google中排除这些类型的网页。虽然它的用处是基于用例,但您可能会发现它是适合您的解决方案。
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=139394