Question

我一直在搜索谷歌，但我找不到这个问题的答案。

robots.txt文件可以包含以下行：

Sitemap: http://www.mysite.com/sitemapindex.xml

但是是否可以在robots.txt中指定多个站点地图索引文件并让搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图？例如，这是否有效：

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml

Answer 1

是的，可以more than one sitemap-index-file：

您可以拥有多个站点地图索引文件。

由我突出显示。

是的，可以在robots.txt中列出多个站点地图文件，另请参阅in the sitemap.org site：

您可以为每个robots.txt文件指定多个站点地图文件。
Sitemap: http://www.example.com/sitemap-host1.xml

Sitemap: http://www.example.com/sitemap-host2.xml

我强调，这不能被误读我会说，所以简单地说，这可以做到。

对于交叉提交，这也是必要的，因为顺便说一下。已选择robots.txt。

顺便说一句 Google ， Yahoo 和 Bing ，都是members of sitemaps.org：

Sitemap 0.90根据Attribution-ShareAlike Creative Commons License的条款提供，并得到广泛采用，包括Google，Yahoo！和Microsoft的支持。

因此，您可以放心，搜索引擎机器人会正确阅读您的站点地图条目。

通过网站管理员工具提交这些内容也不会造成任何影响 - 正如 John Mueller commented。

Answer 2

如果您的站点地图超过10 MB（未压缩）或超过5万个条目，则Google要求您使用与站点地图索引文件捆绑在一起的多个站点地图。

Using Sitemap index files (to group multiple sitemap files)

在robots.txt中指向站点地图索引，该索引应如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2012-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2012-01-01</lastmod>
   </sitemap>
</sitemapindex>

Answer 3

建议创建一个站点地图索引文件，而不是将单独的XML URL放入您的robots.txt文件中。

然后，将如下所示的索引站点地图URL放入robots.txt文件中。

Sitemap: http://www.yoursite.com/sitemap_index.xml

如果您想学习如何创建索引站点地图URL，请遵循此guide from sitemap.org

最佳做法：

如果您的网站中包含大量此类内容，请分别创建图像站点地图和视频站点地图。
检查robots文件的拼写，应为 robots.txt ，请勿使用robot.txt或任何拼写错误的文件。仅将robots.txt文件直接放在根目录中。
有关更多信息，您可以访问robots.txt's official website。

Answer 4

您需要在文件sitemap.xml中指定此代码

<?xml version="1.0" encoding="UTF-8"?>
   <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.exemple.com/sitemap1.xml.gz</loc>
   </sitemap>
   <sitemap>
      <loc>http://www.exemple.com/sitemap2.xml.gz</loc>
   </sitemap>
   </sitemapindex>

来源https://support.google.com/webmasters/answer/75712?hl=fr#

Answer 5

可以编写它们，但是由搜索引擎知道如何处理它。我怀疑很多搜索引擎要么“不断消化”越来越多的令牌，要么将他们发现的最后一个站点地图作为真实的站点地图。

我建议问题是“如果我想____搜索引擎为我的网站编制索引，我是否可以定义多个站点地图？”

多个站点地图：robots.txt中的条目？

5 个答案: