我编写了一个程序，该程序可以下载网页并将其保存在PC上，以供日后离线阅读。例如，我可以给程序一个URL，例如“ www.articles.com/TheTrumpPhenomenon.htm”，然后它将名为“ TheTrumpPhenomenon.htm”的页面下载到本地PC，这样我就可以将PC放在加勒比岛屿中的棕榈树，然后离线阅读。
我的问题与论坛有关。假设我找到一个论坛页面（例如：https://discourse.numenta.org/c/htm-theory/tangential-theories）
我决定通过VB.net调用“ webrequest”进行下载，但令我沮丧的是，我只下载了一部分论坛页面。
如果我在浏览器中查看它，那么当我向下滚动至底部时，一些jQuery或ajax代码（我不确定，我没有看过源代码）会继续提供更多帖子。该页面确实最终会结束，但是您可以向下滚动很长时间，并且每次有更多内容到达浏览器时。因此，患者用户可以查看与该论坛主题关联的所有内容，无论它持续多长时间，他只需要继续按下PGDN按钮即可。我希望能够对我的程序执行相同的操作，或者只是捕获保存在PC上的一个很长的网页中的所有内容。
是否可以下载无休止的页面（论坛等页面可能会从数据库中获取其内容，因此通常，论坛不会将其全部内容发送给用户，除非他真的想查看所有内容）？