连接到Web服务器时,是否可以检索所有文件的索引

时间:2014-01-09 17:30:15

标签: java web web-crawler

连接到网站时是否可以检索Web服务器上所有文件的索引? (与此图像类似:http://www.linuxscrew.com/wp-content/uploads/2008/06/directory_index.png

据我所知,使用网络抓取工具可以达到类似效果,但网站上可能会有一些不公开的链接,这些链接是公开的,但不可见。有没有办法访问这些文件?

1 个答案:

答案 0 :(得分:0)

除非服务器配置为公开此类列表。在许多情况下,首先,“文件”本身很少。资源是由服务器端例程处理的数据库记录,用于向浏览器提供HTML内容。