Question

我目前正在C＃中编写一个基本的webcrawler。它是多线程的，但是使用当前的结构，它会在无限循环中创建线程。我应该在这段代码中更改什么：

履带：

public static void Start(Uri url)
    {
        if (!RobotsParser.IsDomainParsed(LinkParser.GetDomainUrl(url)))
        {
            RobotsParser.Parse(url);
        }

        if (!CrawlQueue.CrawledList.Contains(url) && RobotsParser.IsCrawlingAllowed(url.ToString()))
        {
            CrawlQueue.CrawledList.Add(url);
            CrawlQueue.QueueList.Remove(url);

            //Crawling logic happens here...
            CrawlQueue.Add(LinkParser.Find(doc, responseUri));
            }
        }
    }

LinkParser：

public static HashSet<Uri> Find(HtmlDocument doc, string url)
{
   //returns list of found urls
    return list;
}

队列（这就是问题所在）

internal static class CrawlQueue
{
    public static HashSet<Uri> QueueList = new HashSet<Uri>();
    public static HashSet<Uri> CrawledList = new HashSet<Uri>();

    private static void Start()
    {
        Parallel.ForEach(QueueList.ToList(), new ParallelOptions { MaxDegreeOfParallelism = 7 }, url =>
        {
            try { CrawlEngine.Start(url); }
            catch (Exception e) { Debug.WriteLine(url + " "+ e.ToString()); }
        });
    }

    public static void Add(HashSet<Uri> list)
    {
        int counter = 0;
        foreach (var site in list.Where(site => !QueueList.Contains(site)))
        {
            QueueList.Add(site);
            counter++;
        }

        if (counter >= 1)
        {
            Logging.Log(counter + " items added to crawling queue");
            Start();
        }
    }
}

在列表中我应该选择哪种设计？

Answer 1

生成许多线程的问题是递归调用Start()并结合Parallel.ForEach（阻塞调用）。您应该使用类似Task.Factory.StartNew()的内容，以允许在子任务运行时调用Start()。您可能需要重构代码以返回结果任务，以便您可以知道所有内容何时完成。

正如评论所提到的，您可能不需要阻塞多线程解决方案（您应该使用非阻塞IO），但这是一个更大的变化。

无尽循环不断创建新线程

1 个答案: