robots.txt和相对路径

时间:2011-08-24 06:53:33

标签: relative-path robots.txt

我想禁止我网站上任何/ tmp文件夹中的任何文件。例如我有:“/anything / tmp /whatever / test.html”,“/ material / tmp / old / test.html”,“/ people / tmp / image.html”等等。

将disallow / tmp /放入我的robots.txt以阻止我的网络服务器的整个文件系统中的任何tmp文件夹是否足够?或者我是否需要将每条路径都放在: disallow / anything / tmp / disallow / stuff / tmp / 不允许/ tmp /

或者像这样: 不允许/ * / tmp /

由于

2 个答案:

答案 0 :(得分:3)

直接回答:

您必须声明要从机器人中排除的每个目录。

User-agent: *
Disallow: /anything/tmp/
Disallow: /stuff/tmp/

您可以查看robots.txt文件@ http://www.frobee.com/robots-txt-check的语法 详细了解@ http://www.robotstxt.org/orig.html

中的机器人排除

答案 1 :(得分:2)

它实际上取决于REP解析器。更高级的解析器确实识别通配符语法,但它不是original spec的一部分。

尽管如此,Google确实遵守了通配符。根据他们的解析器:

/fish*.php
Does Match:
    /fish.php 
    /fishheads/catfish.php?parameters
Does Not Match
    /Fish.PHP