在c＃中获取网站的所有页面，包括HTML，ASPX等

Question

我正在申请 这将返回给定网站的URl的所有页面（带有HTMl）。使用此代码它工作正常。

  foreach (string links in Find(htmlCode))
    {
        Debug.WriteLine(links);
        string chk = "";
        if (link != null)
        {
            chk = client.DownloadString(link);
        }}

但到目前为止，我只能访问网站的HTML页面中可以访问href或链接的网页。 我无法访问网站中未提及href的其他网页 我该如何访问这些页面？

Facebook页面的一个例子 我可以访问所有的Facebook页面吗？

Answer 1

没有。如果页面未链接，您将无法找到它。如果您正在抓取，则还应尊重robots.txt文件。