这个robots.txt语法是否为空“Disallow：”是否正确？

Question

今天在改进我的网络抓取工具以支持robots.txt标准的同时，我在http://www.w3schools.com/robots.txt

看到了以下代码

User-agent: Mediapartners-Google 
Disallow: 

这种语法是否正确？根据预期目的，它不应该是Disallow: /或Allow: /吗？

Answer 1

Disallow:

将允许一切，并将：

Allow: /

你要么不允许任何事情，要么允许一切。