我正在从我的文件路径（/ files /）中删除一个文件夹，它正在网站上正常工作。当我查看任何页面的源代码时，我在任何地方都看不到文件夹名称，并且它不在任何站点地图中。不知何故，“谷歌”正在寻找真正的道路，而这些道路正在谷歌网站管理员工具的“未找到”栏目中显示。
基本上我在服务器上有图像/ PDF，路径如下： 的doc_root /文件/制造/类别/ SUBCAT /
我的图片/ PDF的HTML如下所示：
domain.com/manufacture/category/subcat/image.jpg 要么 domain.com/manufacture/category/subcat/part.pdf
我在.htaccess中使用此功能从该路径中删除/ files /文件夹：
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^((?!files/).*)$ files//$1 [L,NC]
我想我想在我的robots.txt中删除那个文件目录以防止它发生......但我真的更好奇他们是如何在第一时间找到它的。