我想禁止机器人抓取csp文件夹并计划使用以下robots.txt文件：
User-agent: *
Disallow: /csp
所以，我的问题是双重的：
G-WAN的语法是否正确？
使用G-WAN，我应该在哪里放置此文件？
答案 0 :(得分：0)
如果您要使用此功能，well-documented robots.txt文件应放在/ www G-WAN fodler中。 robots.txt是机器人的提示，其中许多都不尊重您的意愿（因此定义文件系统权限或在您不希望的文件夹中使用index.html文件更安全浏览）。
任何HTTP客户端（包括机器人）都无法抓取/csp目录。只有/www目录可以。
到目前为止，这种分离在简单性，设计和安全性方面都非常有效，避免了决定可执行内容和表示层的缺陷。