Question

我试图禁止子目录中的一个页面

我正在使用robots.txt代码

User-Agent: *
Disallow:
Disallow: /form.aspx

但是form.aspx在进程文件夹中，我的网址显示为 www.yoursite.com/process/form.aspx

所以如何禁止form.aspx中的robots.txt。

上面robots.txt给出的格式：是吗？

请指导

Answer 1

如果您想阻止http://example.com/process/form.aspx并允许其他所有内容，您可以使用：

# robots.txt on <http://example.com/robots.txt>
User-agent: *
Disallow: /process/form.aspx

请注意，这也会阻止http://example.com/process/form.aspx.foo，http://example.com/process/form.aspx/bar等网址