ASP.NET获取网站的所有页面

Question

我想解析一些网站并获取当前域名的所有页面列表，例如：

  

sample.com /

     

sample.com/page1 /

     

sample.com/page2.html

但我找不到样本，如何使用C＃和ASP.NET构建此站点地图或树

我发现只有一个例子： http://www.codeproject.com/Articles/13486/A-Simple-Crawler-Using-C-Sockets

但我无法理解，作者如何使用它

if(Directory.Exists(strUri) == true) { //some code DirectoryInfo dir = new DirectoryInfo(folderName); FileInfo[] fia = dir.GetFiles("*.txt"); }

当我使用此代码时，if的结果始终为false。当我只使用

时

GetFiles功能

我有例外：

  

不支持URI格式

谁有任何想法？

Answer 1

请记住，在Web环境中，您无法以这种方式读取文件，您需要使用

Server.MapPath(url)

获取文件的物理地址，然后就可以进行正在使用的循环。