假设我的web服务器的Public_html文件夹中有folderX。
A)如果我将folderX重命名为非常长且随机的东西,那么技术上有人可以访问该文件夹中的文件吗? (除了粗暴强制文件夹名称,这应该是很小的机会)。
B)由于没有链接到重命名文件夹中的文件或文件夹本身,网页抓取工具和搜索引擎无法为其内容编制索引,对吗?
我知道这不是保护内容的常用方法,建议将非公开数据移动到Web服务器根目录(在public_html上面),或者用.htaccess左右保护密码。但在这里,我问的是什么是机会,如果技术上可行,以及如何?
编辑。 我考虑过将文件夹的名称放在robots.txt文件中,以确保它从网络爬虫机器人中排除。但它似乎适得其反!! robots.txt文件不是机器人必须遵循的,并且通过显示恶意机器人文件夹的名称可以故意去那里并抓取它。我错过了什么吗?
答案 0 :(得分:1)
是的。
referer
标题会将隐藏页面的网址泄露给他们。出于您描述的原因,请勿使用robots.txt。但是,meta tags可用于阻止HTML页面的索引。