Question

我有一个文件列表，我需要运行的每个文件（PCAP文件 - 传输数据包）都有自己的运行时间。

因为我希望该选项能够并行处理多个文件我正在使用这个获得IEnumerable<string> source和MAX并行线程数的函数：

  public void doWork(IEnumerable<string> _source, int parallelThreads)
    {
        _tokenSource = new CancellationTokenSource();
        var token = _tokenSource.Token;
        Task.Factory.StartNew(() =>
        {
            try
            {
                Parallel.ForEach(_source,
                    new ParallelOptions
                    {
                        MaxDegreeOfParallelism = parallelThreads //limit number of parallel threads 
                    },
                    file =>
                    {
                        if (token.IsCancellationRequested)
                            return;
                        //process my file...
                    });
            }
            catch (Exception)
            { }

        }, _tokenSource.Token).ContinueWith(
                t =>
                {
                    //finish all the list...
                }
            , TaskScheduler.FromCurrentSynchronizationContext() //to ContinueWith (update UI) from UI thread
            );
    }

例如，如果我有10个文件的列表，并且我的最大并行线程数是4，那么我的程序开始并行传输4个文件，并且在第一个文件完成另一个文件自动启动之后如果我全部传输，这可以正常工作我的名单一次。

添加选项后播放循环中的所有列表我有一个问题，如果我想播放两个例子，第一个循环结束后第二个开始，并在第一个文件完成所有后的这个循环中用户界面卡住而没有回复。我和心中的朋友谈过他是C＃开发人员，他告诉我，这可能是任务已知的问题，有时会陷入僵局。是否可以使用另一个类而不是任务？

Answer 1

您不应该将Parallel.ForEach用于文件IO。它不是一个CPU密集型任务。您应该能够一个接一个地启动所有任务。这样，您将使用更少的线程，您的应用程序将更具可扩展性。

更新示例：

public static void doWork(IEnumerable<string> _source, int numThreads)
{
    var _tokenSource = new CancellationTokenSource();

    List<Task> tasksToProcess = new List<Task>();
    foreach (var file in _source)
    {
        tasksToProcess.Add( Task.Factory.StartNew(() =>
                              {
                                  Console.WriteLine("Processing " + file );
                                  //do file operation
                                  Thread.Sleep(5000);

                                  Console.WriteLine("Finished Processing " + file);
                              },
                          _tokenSource.Token));

        if(tasksToProcess.Count % numThreads == 0)
        {
            Console.WriteLine("Waiting for tasks");

            Task.WaitAll(tasksToProcess.ToArray(), _tokenSource.Token);

            Console.WriteLine("All tasks finished");   
            tasksToProcess.Clear();
        }
    }             
}

void Main()
{
    var fileList = Enumerable.Range(0, 100).Select (e => "file" + e.ToString());
    doWork(fileList, 4);

    Console.ReadLine(); 
}

控制线程数（不是任务）

1 个答案: