标签： robots.txt web-crawler google-index
我创建了一个robots.txt文件，并在文件中添加了以下内容
User-agent: * Disallow: /
我已将其上传到我的根文件夹。
如果“蜘蛛”没有检查robots.txt，那么它可能是恶意的，在这种情况下会欺骗用户代理。
有没有阻止这个？甚至让他们更难？