我想禁止我网站上任何/ tmp文件夹中的任何文件。例如我有:“/anything / tmp /whatever / test.html”,“/ material / tmp / old / test.html”,“/ people / tmp / image.html”等等。
将disallow / tmp /放入我的robots.txt以阻止我的网络服务器的整个文件系统中的任何tmp文件夹是否足够?或者我是否需要将每条路径都放在: disallow / anything / tmp / disallow / stuff / tmp / 不允许/ tmp /
或者像这样: 不允许/ * / tmp /
由于
答案 0 :(得分:3)
直接回答:否
您必须声明要从机器人中排除的每个目录。
User-agent: *
Disallow: /anything/tmp/
Disallow: /stuff/tmp/
您可以查看robots.txt文件@ http://www.frobee.com/robots-txt-check的语法 详细了解@ http://www.robotstxt.org/orig.html
中的机器人排除答案 1 :(得分:2)
它实际上取决于REP解析器。更高级的解析器确实识别通配符语法,但它不是original spec的一部分。
尽管如此,Google确实遵守了通配符。根据他们的解析器:
/fish*.php
Does Match:
/fish.php
/fishheads/catfish.php?parameters
Does Not Match
/Fish.PHP