搜索引擎漫游器会抓取我动态生成的网址吗？有了这个我的意思是由PHP生成的html页面基于url中的GET变量。链接看起来像这样：
http://www.mywebsite.com/view.php?name=something
http://www.mywebsite.com/view.php?name=somethingelse
http://www.mywebsite.com/view.php?name=something
我尝试使用此处找到的测试抓取工具抓取我的网站：http://robhammond.co/tools/seo-crawler但它只访问我的视图页面一次，标题中只有一个变量。
我网站上的大部分内容都是由数据库中的这些GET变量生成的，所以我真的希望搜索引擎抓取这些页面。
答案 0 :(得分：2)
有些搜索引擎会这样做，而有些搜索引擎则不会。 Google for one确实包含动态生成的网页：https://support.google.com/webmasters/answer/35769?hl=en
请务必检查您的 robots.txt 文件，以确保您不的文件希望抓取工具看到的文件被阻止，以及您所做的文件没有被阻止。
此外，请确保您要编入索引的所有网页都通过其他网页链接，您拥有站点地图，或者将单个网址提交给您要为网站编制索引的搜索引擎。
答案 1 :(得分：1)
是的，搜索引擎会抓取这些页面，假设他们可以找到它们。最好的办法是简单地创建指向您网站上这些页面的链接，特别是可访问的，或者至少可以从主页上遍历。