如何让搜索引擎在我的网站上抓取成千上万的页面

时间:2015-06-28 16:07:40

标签: asp.net seo search-engine google-crawlers

我有大量的项目,每个项目都有一个像这个网站/ item_show.aspx的页面?id = The_ID_here有成千上万的项目,每天增加近两千个。此外,每个项目的页面都有一个描述,因此对于每个项目,其页面都应该被搜索引擎抓取。

我的问题是所描述的数据量如何:如何生成站点地图或其他类似内容,以便谷歌和其他搜索引擎可以看到所有项目?

很明显,我无法在第一页显示所有项目,但我可以创建只包含项目链接的页面,并为搜索引擎提供每页数十项。是否可行或者是否可以通过谷歌将项目编入索引?

3 个答案:

答案 0 :(得分:0)

基本上有3种方法可以帮助你进行质量索引: 1.为您的所有页面创建XML SiteMap,并从您的主页链接到它。 2.您应该安装Google网站管理员工具,并且可以将相同的XML文件加载到其中。 3.有一个有组织的类别结构 - 根据您的网站类型考虑逻辑类别结构,例如在电子商务商店中,所有产品按产品主要类别分类,然后是产品子类别,有时按品牌等分类...... - 当然你应该通过你的购物车平台做到这一点 - 请记住,如果你开始寻找URL结构,你需要处理从旧URL到新URL的所有重定向。

答案 1 :(得分:-1)

首先,使用XML站点地图并将其提交给Google(请注意,我说的是sitemapS - 不止一个)。

接下来,确保您的网站内容很好地组织成类别和子类别 - 理想情况下,您希望所有元素都可以在尽可能少的点击次数内访问,而用户(或Googlebot)不必诉诸搜索功能

最后,确保您的更热门/重要的项目在主页上显示或点击1-2次点击,并获取这些特定产品页面的链接和社交分享。

答案 2 :(得分:-1)

受欢迎并获取指向您网站的链接。有一个可以处理爬行的好服务器。

  

我们的抓取也没有硬性限制。最好的思考方式   关于它我们抓取的页面大致是   与您的PageRank成正比。所以,如果你有很多传入的链接   在你的根页面上,我们肯定会抓住它。然后是你的根页面   可以链接到其他页面,那些将获得PageRank,我们将爬行   那些也是。但是,随着您的网站越来越深入,   PageRank趋于下降......

https://www.stonetemple.com/matt-cutts-interviewed-by-eric-enge-2/