Question

这是正确的方法 - 下面是我的txt文件，这是否会阻止Google将我的管理目录和oldpage.php编入索引？

User-agent: *
Allow: /
Disallow: /admin/
Disallow: http://www.mysite.com/oldpage.php

Answer 1

是的，除了单个文件限制外，你绝对正确。

User-agent: *：表示所有抓取工具

Allow: /：允许访问完整网站

Disallow: /admin/：限制为管理目录

Disallow: /oldpage.php：限制为oldpage.php