ASP.NET Web抓取的超时问题

Question

我正在尝试将web抓取爬虫作为我的ASP.NET MVC项目的一部分。它适用于使用Html Agility Pack从不同URL收集的大量数据。问题是当我想实际运行我在一分钟后从远程服务器获得“连接已重置”的功能。当我在本地运行时，我的结果会越来越好。我可以访问远程IIS。有任何建议可以解决这个问题和/或任何替代方案吗？

Answer 1

如果在ASP.NET中有一个长时间运行的进程，最好让它在不同的线程上运行。

请参阅this和this相关问题以及this MSDN文章。

Answer 2

连接和网络问题可能会导致此类问题。为了避免阻止抓取其他网址，您可以将工作并行化为单独的线程。