在robots.txt中指定变量

Question

我的网址结构设置为两个相似位置（两者都指向同一位置）：

• www.example.com/subname
• www.example.com/123

麻烦的是，蜘蛛正在爬进像：

这样的东西

• www.example.com/subname/default_media_function
• www.example.com/subname/map_function

请注意，名称“subname”代表我网站上数千个不同的页面，这些页面都具有相同的功能。

他们正在抛出错误，因为这些链接严格用于JSON或AJAX目的而不是实际链接。我想阻止他们访问这些页面，但如果URL包含变量，我该怎么做？

这可以在robots.txt中使用吗？

Disallow: /map_function

Answer 1

你将不得不做

Disallow: /subname/map_function

机器人将在根级别查找 robots.txt 。此外，他们还从左到右评估了没有通配符的网址。

因此，您需要为所有map_function创建一个位置并将其排除，或排除所有位置。