感谢您阅读我的问题。我正在建立一个网站，列出每个制造商的产品。我计划按以下方式构建网址：
www.mysite.com/manufacturer_name/product_name/product_id
www.mysite.com/product_name/product_id
www.mysite.com/manufacturer_name
有数百万种产品，我希望所有主要搜索引擎都能抓取它们。这样做的最佳方法是什么？
简单地将网站提交给所有搜索引擎就足够了吗？我会假设如果我提交制造商页面列出所有制造商名称作为链接，搜索引擎将点击每个链接并点击每个制造商链接中显示的所有产品（我将有产品分页）所以搜索引擎可以继续抓取网站以获取每个制造商中的更多产品，直到它用完页码。
这足以列出每个搜索引擎上的每个产品吗？还是有新的更好的方法来做到这一点？可能有新的SEO技巧，我不知道。我希望你能指出我正确的方向。
我之前使用过robot.txt告诉搜索引擎哪些网页可以抓取，而且似乎工作正常。
谢谢， bad_at_coding
答案 0 :(得分：1)
提交XML站点地图。最简单的方法是在robots.txt文件中链接到它。
示例robots.txt文件：
Sitemap: http://example.com/sitemap_location.xml
有关Google提供的有关此主题的更多信息，请参阅Submitting Sitemaps