我网站上的客户有时会在节点中上传存储在sites / default / files中的文件。理想情况下，我希望文件隐藏在世界之外。有一天，我很震惊地发现Google在搜索结果中列出了一个私人文件。
我可以在robots.txt中添加此目录吗？ 它会影响其他任何事情吗？至少搜索引擎不会把这些文件带到世界各地！
答案 0 :(得分：1)
如果您将上传目录添加到robots.txt，Google会跳过它。
这是你可以向robots.txt添加内容的方法：
User-agent: *
Disallow: /folder/
Disallow: /folder/file.htm