google如何抓取动态网页？

Question

我即将为我的一个客户创建一个在线购物网站。我必须使这个网站SEO友好，因此我必须了解一些事情，然后我继续制作一个自定义的CMS网站。

正如我所说，我将建立一个基于自定义CMS的网站，以便我的客户能够通过CMS添加新内容，但我不了解一些事情。

例如：我有一个index.php页面，其中包含许多指向不同产品的链接，所有这些链接都是使用PHP通过数据库创建的。网站链接如

http://www.def.com/shoes/Men-Shoes

我的问题：

1）我想知道当GoogleBot抓取我的网站时，它是否还会打开我动态创建的链接并将其编入索引？ GoogleBot还会将动态链接的内容编入索引吗？

2）我是否必须为现场的所有产品创建单独的页面并将其存储在我的服务器上？或者只是根据每个产品的用户查询动态提供的单个页面？

我读了这个

＆＃34;它的功能与您的网络浏览器非常相似，通过向网页服务器发送网页请求，下载整个网页，然后将其交给Google的索引器。＆＃34;

是不是？

我上面的查询实际上看起来像这样，我使用了.htaccess文件来使它漂亮

http://www.def.com/shoes.php?type=Men-Shoes

所以它是正确的，谷歌会将其抓取到索引？

Answer 1

搜索引擎优化本身就是一门复杂的科学，谷歌总是会改变目标帖子并修改他们的算法。

虽然您不需要为每个产品创建单独的页面，但使用.htaccess文件创建友好的URL可以使它们看起来更好，更容易导航。同时创建站点地图并通过他们的网站管理员工具将其提交给Google将有助于他们了解要编制索引的页面。

GoogleBot将关注您网站中的链接，包括动态创建的链接，但重要的是，如果您的目标是长期成功，则不要尝试使用Blackhat方法对系统进行游戏。

此外，使用社交媒体（Twitter，Facebook，Google +）来帮助宣传您的品牌，并确保您遵循Google关于SEO和网页优化的指南。

互联网上有大量有关此主题的信息，但请注意您遵循的建议。

Answer 2

Google和其他搜索引擎也会为动态链接编制索引。因此，避免重复内容的方法是使用＆＃34;抓取＆＃34; - ＆gt;＆＃34;网址参数＆＃34; Google网站管理员中的工具。您可以在此处详细了解其工作原理https://support.google.com/webmasters/answer/6080548?rd=1。设置＆＃34;抓取＆＃34;字段到＆＃34;没有网址＆＃34;。通过这种方式，您可以隐藏搜索动态链接，但您必须拥有网站/ CMS的所有动态链接列表，以免意外隐藏重要内容。 ＆＃34;网址参数＆＃34; Bing网站管理员工具http://searchenginewatch.com/sew/how-to/2195777/bing-webmaster-tools-an-overview#中也提供了此功能。