在Robots.txt中允许和禁止

时间:2016-04-11 11:32:26

标签: robots.txt

http://www.robotstxt.org/orig.html说:

  

禁止:/ help不允许/help.html和/help/index.html

现在,google.com/robots.txt列出:

Disallow: /search  
Allow: /search/about  

运行robotparser.py后,它会在Google格言false中针对上述两种情况返回robots.txt

有人请解释一下我在Allow使用Allow: /search/about的原因是什么,因为它会根据false上方的Disallow条目返回cell.stepTextField.text = ""

0 个答案:

没有答案