抓取工具可以访问“拒绝所有”目录

Question

你好我的网站我有一个核心文件夹，里面有敏感数据，我有一个htaccess文件，里面有'拒绝全部'。我的问题是谷歌或其他一些爬虫可以访问该目录，即使他们知道我不希望有人在那里吗？

Answer 1

不，他们不能。机器人可以选择是否遵循来自robots.txt等的说明，但是他们不能跳过服务器向他们投掷的内容。换句话说，服务器将拒绝显示该信息，并且机器人可以做任何事情（据说）。祝你好运：P

Answer 2

从技术上讲，不，他们无法访问它。但是通过将文件夹放在那里（在公共目录下），你会面临更大的风险，比如你犯了一个错误并覆盖你的.htaccess，或者服务器得到更新，你的规则变得无效。

最好将该文件夹移到public_html之外（或等效文件夹）。我通常做的是在private_files文件夹旁边创建一个public_html，我需要的任何文件都可以从（secure！）脚本中引用。