具有多个域站点地图条目的Robots.txt

Question

我们的网站有很多域名，例如：

example.co.uk
example.in
example.co.eg
...

因此，在robots.txt中应该有一个条目，显示我们的站点地图文件所在的位置。

所以我的问题是：

每个域中都有许多站点地图文件，那么如何在单个robots.txt文件中为每个域分别放置这些条目？

Answer 1

假设您对所有域都使用相同的机械手规则，请将单个robots.txt放入根目录，然后将所有站点地图链接放入其中。 我认为站点地图链接看起来像

http://www.example.co.uk/sitemap.xml http://www.example.in/sitemap.xml http://www.example.co.eg/sitemap.xml

或者您可以建立类似

的结构

/robots/co-uk.txt /robots/in.txt /robots/co-eg.txt

根据站点地图链接放入它们，并根据用户所在国家/地区动态地将其传递给

<ifModule mod_geoip.c> GeoIPEnable On RewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^UK$ RewriteRule ^robots\.txt$ robots/co-uk.txt [L] </ifModule>

为此，您应该安装了mod_geoip或ip2location。如果使用ip2location，请将GEOIP_COUNTRY_CODE替换为IP2LOCATION_COUNTRY_SHORT。