Question

我收到了大量需要插入数据库的统计数据。我想实现某种保存所有数据的Queue或FIFO类当它到达特定计数（缓冲区）时，它将通过批量插入将该数据发送到SQL。这应该是线程安全的。

我知道如何制作批量插页。有关如何制作队列/列表的任何建议吗？

由于

Answer 1

.net基类库有ConcurrentQueue(Of T)。只需导入System.Collections.Concurrent。

编辑：如果必须使用队列，则可以创建一个包装类/模块，在计数器（缓冲区）达到一定数量时触发事件。

Answer 2

如果您不需要严格的FIFO，我认为您应该使用BlockingCollection。

它是线程安全的，实现看起来像：

var collection = new BlockingCollection<Data>();

var sqlinserter = Task.Factory.StartNew(UpdateSql());

while (true) {
    Data statistics = FetchStatistics();
    if (statistics == null)
        break;
    collection.Add(statistics);
}
collection.CompleteAdding();
sqlinserter.Wait();

修改看到您想在每批中插入特定数量的项目

void UpdateSql() { var batch = new List<Data>(); foreach (var item in collection.GetConsumingEnumerable()) { batch.Add(item); if (batch.Count > SomeBatchSize) { InsertIntoSql(batch); batch.Clear(); } } if (batch.Count > 0) InsertIntoSql(batch); // insert remaining items }

Answer 3

这是一种安全的方法来处理它。主要是你想避免任何你可以在一个synclock内“卡住”的情况。

Public Class TSQueue(Of T)

    Private q As New Queue(Of T)
    Public Property threshold As Integer = 100
    Public Event ThresholdHit As EventHandler(Of EventArgs)

    Public Sub EnqueueSafe(value As T)
        Dim notify As Boolean = False
        SyncLock q
            q.Enqueue(value)
            If q.Count >= threshold Then
                notify = True
            End If
        End SyncLock
        If notify Then
            RaiseEvent ThresholdHit(Me, EventArgs.Empty)
        End If
    End Sub

    Public Function DequeueSafe() As T
        SyncLock q
            Return q.Dequeue()
        End SyncLock
    End Function

    Public Function DequeueAllSafe() As T()
        Dim out() As T
        SyncLock q
            out = q.ToArray()
            q.Clear()
        End SyncLock
        Return out
    End Function

    Public Function CountSafe() As Integer
        SyncLock q
            Return q.Count
        End SyncLock
    End Function

End Class

FIFO / QUEUE具有缓冲区和线程安全性

3 个答案: