我理解人们对产生非有机交通的想法不屑一顾，我不打算为自己辩护，我只是想知道是否有人愿意引导我朝着正确的方向前进。我有大多数使用OOP语言的经验，我看到它的方式是你可以打破某些页面上的任何超链接到对象并过滤内部和外部链接，显然，打开内部链接，至少这是我的想法。 / p>
最好的方法是什么？我把它的后勤工作放在脑海里，我只是想知道是否有办法以这种方式打破HTML页面。
答案 0 :(得分：1)
您正在寻找的是“网络蜘蛛”。基本上，Google，Yahoo！和其他搜索引擎用于抓取和索引网站的软件类型相同。
您可以将许多开源或免费的网络蜘蛛集成到您的代码中。对于.Net，这个可以工作：https://code.google.com/p/abot/
一旦你有一个蜘蛛运行，你可以编写自己的代码来做你想要的链接。如果您只想逐页浏览整个网站，那么除了启动蜘蛛之外，您不需要做任何事情。