与任务并行,一些任务有效,有些没有

时间:2013-04-03 09:11:54

标签: c# .net parallel-processing task-parallel-library

我有一个网站,我编写了一个HttpModule来转换所有链接,所以一切都很好,直到我在转换URL中使用并行性。

这是我的测试控制台应用程序:

class Program
    {
        static void Main(string[] args)
        {
            new Job().Do();
        }
    }

    public class Job
    {
        public void Do()
        {
            string content = @"
            new link1 href=""www.yahoo1.com"" end
            new link2 href=""www.yahoo2.com"" end
            new link3 href=""www.yahoo3.com"" end
            new link4 href=""www.yahoo4.com"" end
            new link5 href=""www.yahoo5.com"" end
            new link6 href=""www.yahoo6.com"" end
            ";

            string newcontent = Transformlink(content);

            Console.WriteLine(content);
            Console.WriteLine();
            Console.WriteLine(newcontent);
            Console.ReadLine();
        }

        private string Transformlink(string content)
        {
            List<UrlIndex> AllUrls = GetUrls(content);
            List<Task> TaskPool = new List<Task>();
            foreach (UrlIndex Item in AllUrls)
                TaskPool.Add(Task.Factory.StartNew(() => TransformUrl(Item)));
            Task.WaitAll(TaskPool.ToArray());

            return ReplaceUrlWithTransformUrl(content, AllUrls);
        }

        private string ReplaceUrlWithTransformUrl(string content, List<UrlIndex> AllUrls)
        {
            for (int i = AllUrls.Count - 1; i >= 0; i--)
            {
                UrlIndex CurrentItem = AllUrls[i];
                content = content.Substring(0, CurrentItem.StartIndex) + CurrentItem.TransformedUrl + content.Substring(CurrentItem.EndIndex);
            }
            return content;
        }

        private void TransformUrl(UrlIndex urlindex)
        {
            urlindex.TransformedUrl = string.Format("Google{0}.com", new Random().Next(100, 999).ToString());
        }

        private List<UrlIndex> GetUrls(string content)
        {
            //Get Start And End Index, Get Url Set TransformedUrl = Url
            List<UrlIndex> AllUrls = new List<UrlIndex>();
            int startindex = 0;
            int endIndex = 0;
            int previousindex = 0;
            while (startindex != -1)
            {
                startindex = content.IndexOf("href=\"", previousindex);
                if (startindex == -1)
                    break;
                startindex += 6;
                previousindex = startindex;
                endIndex = content.IndexOf("\"", previousindex);
                if (endIndex == -1)
                    break;
                previousindex = endIndex;
                string url = content.Substring(startindex, endIndex - startindex);
                AllUrls.Add(new UrlIndex() { StartIndex = startindex, EndIndex = endIndex, Url = url, TransformedUrl = url });
            }

            return AllUrls;
        }
    }


    public class UrlIndex
    {
        public int StartIndex { get; set; }
        public int EndIndex { get; set; }
        public string Url { get; set; }
        public string TransformedUrl { get; set; }
    }

结果必须是:

new link1 href=""www.Google859.com"" end
new link2 href=""www.Google245.com"" end
new link3 href=""www.Google749.com"" end
new link4 href=""www.Google345.com"" end
new link5 href=""www.Google894.com"" end
new link6 href=""www.Google243.com"" end

这就是我想要的东西。

但结果是:

new link1 href=""www.yahoo1.com"" end
new link2 href=""www.yahoo2.com"" end
new link3 href=""www.yahoo3.com"" end
new link4 href=""www.yahoo4.com"" end
new link5 href=""www.yahoo5.com"" end
new link6 href=""www.Google125.com"" end

正如您所看到的那样,最后一个链接已经转变。在某些情况下:

new link1 href=""www.yahoo1.com"" end
new link2 href=""www.yahoo2.com"" end
new link3 href=""www.Google285.com"" end
new link4 href=""www.yahoo4.com"" end
new link5 href=""www.yahoo5.com"" end
new link6 href=""www.Google125.com"" end

控制台项目在.NET 4中

这是我的错吗?为什么所有任务都无效? Task.WaitAll(TaskPool.ToArray());的行还不够?有什么建议吗?

1 个答案:

答案 0 :(得分:4)

看起来像是一个关闭问题。 像这样更改Transformlink方法:

    private string Transformlink(string content)
    {
        List<UrlIndex> AllUrls = GetUrls(content);
        List<Task> TaskPool = new List<Task>();
        foreach (UrlIndex Item in AllUrls)
        {
            val localItem = Item;
            TaskPool.Add(Task.Factory.StartNew(() => TransformUrl(localItem)));
        }
        Task.WaitAll(TaskPool.ToArray());

        return ReplaceUrlWithTransformUrl(content, AllUrls);
    }

编辑/说明:

这是通过安排Tasks的方式来实现的。你没有真正的方法来控制它。在您的控制应用程序中,任务执行在“循环迭代”之前“足够快”地完成。因为您在Item内传递的TransformUrl变量仍然是您想到的那个。

但是在您的服务器应用程序循环中,在执行任何Task之前完成。 请注意,您通过了参考。每次迭代都会更改此引用。因此,在循环完成后,所有任务都将在同一个UrlIndex实例上执行转换。这就是发生的事情。 通过创建局部变量,您可以存储对要使用的实际对象的引用。

因此使用局部变量是正确的方法。它适用于控制台应用程序,因为正确的时间条件(我会称之为运气:))