Question

由于MicroSoft所说的好处，我使用Parallel.ForEach 实现了大量SQL SELECT语句（数千条）（顺便说一下：我找不到它现在，但我很确定我读到了Parallel.ForEach在所有迭代都被执行之前不会返回控制的地方。这是真的吗？）

我从Parallel.Foreach SQL querying sometimes results in Connection开始。我不想使用已接受的答案，因为它放弃了Parallel.ForEach而只使用Task.Run（或Task Factory.StartNew用于.Net 4.0）。与此同时，O.P。使用＆＃34;锁定＆＃34;将更新同步到我理解的DataTable列表可能会降低Parallel.ForEach的效率。

所以，使用文章How to: Write a Parallel.ForEach Loop with Thread-Local Variables，我写下了草编码。目标是将threadLocalDataTable（每个select语句一个）累积到所有查询完成后返回的dataTableList。它工作正常，但我想知道localFinally方法是否真的是线程安全的（请参阅带注释//<-- the localFinally method in question的代码行。注意：SqlOperation类实现连接字符串，输出数据表名称，并选择查询字符串

public static IList<DataTable> GetAllData(IEnumerable<SqlOperation> sqlList)
{
    IList<DataTable> dataTableList = new List<DataTable>();
    dataTableList.Clear();

    try
    {

        Parallel.ForEach<SqlOperation, DataTable>(sqlList, () => null, (s, loop, threadLocalDataTable) =>
        {

            DataTable dataTable = null;

            using (SqlCommand sqlCommand = new SqlCommand())
            {
                using (SqlConnection sqlConnection = new SqlConnection(s.ConnectionString))
                {
                    sqlConnection.Open();
                    sqlCommand.CommandType = CommandType.Text;
                    sqlCommand.Connection = sqlConnection;
                    sqlCommand.CommandText = s.SelectQuery;
                    SqlDataAdapter sqlDataAdapter = new SqlDataAdapter(sqlCommand);

                    dataTable = new DataTable
                    {
                        TableName = s.DataTableName
                    };

                    dataTable.Clear();
                    dataTable.Rows.Clear();
                    dataTable.Columns.Clear();

                    sqlDataAdapter.Fill(dataTable);
                    sqlDataAdapter.Dispose();
                    sqlConnection.Close();
                }
            }

            return dataTable;


        }, (threadLocalDataTable) => dataTableList.Add(threadLocalDataTable) //<-- the localFinally method in question
        );
    }
    catch (Exception ex)
    {
        Console.WriteLine(ex.ToString(), "GetAllData error");
    }

    return dataTableList;
}

Answer 1

您提供的链接的文档明确说明（关于localFinally）：

此委托可以由多个任务同时调用

所以不，它不是线程安全的。但这不是唯一的问题 - 你的整个实施都是不正确的。

＆＃34;线程本地＆＃34;传递给每个循环迭代的变量是累加器。它累积了在同一线程上运行的多次迭代所获得的结果。您的实现完全忽略该变量并始终返回一个数据表。这意味着如果你有更多的表而不是并行循环线程数（默认为处理器的核心数） - 你实际上是在放弃结果，因为你忽略了累加器。

正确的方法是使用List<DataTable>作为累加器，而不是单个。例如：

Parallel.ForEach<SqlOperation, List<DataTable>>(
    sqlList, 
    () => new List<DataTable>(), // initialize accumulator
    (s, loop, threadLocalDataTables) =>
    {
        DataTable result = ...;
        // add, that's thread safe
        threadLocalDataTables.Add(result);
        // return accumulator to next iteration
        return threadLocalDataTables;
    }, (threadLocalDataTables) =>
    {
        //<-- the localFinally method in question
        lock (dataTableList) // lock and merge results
           dataTableList.AddRange(threadLocalDataTables);
    });

那就是说 - 使用Parallel.ForEach来加速IO绑定工作（比如进行SQL查询）并不是一个好主意，使用async \ await会做得更好。但这个问题的范围超出了这个范围。

这是C＃Parallel.ForEach＆＃34; localFinally＆＃34;方法线程安全？

1 个答案: