.net从父URI获取所有目录

时间:2018-03-10 06:05:42

标签: c# .net uri

我想从父URI获取子目录列表,我如何阅读

例如 -

我有父URI - www.abc.com

这里我想读取它的所有子目录,如

1. www.abc.com/xyz/..
2. www.abc.com/xyz1/..
3. www.abc.com/xyz3/..

我试过读取URI如下 -

var path = new Uri("www.abc.com");

提前感谢您的帮助。

1 个答案:

答案 0 :(得分:3)

你不能。 Web服务器的文件夹结构是私有的。您所能做的就是从公开信息中获取信息。因此,您可以抓取网站及其链接,并建立其文件夹结构的图片。您也可以尝试请求www.abc.com/robots.txt,它用于告诉搜索引擎要索引哪些内容。你可能会很幸运,并发现robots.txt包含很多关于它的子文件夹的信息。例如,请查看bbc.com robots.txt文件http://www.bbc.com/robots.txt