查询大型DataSet .NET Core以进行序列化

时间:2019-03-12 09:34:06

标签: sql json serialization .net-core

我有一个很大的SQL DB(〜7GB),带有许多表。使用自动SELECT查询在这些表中循环生成各种大小的数据集-一些较小,而另一些则趋于庞大。尽管小集合没有问题,但是大集合会减慢该过程,并且它永远不会完成(或者可能会几天,但出于明显的原因,我实际上并没有尝试过。)

所有数据都将被序列化(在此处使用Newtonsoft JSON)。

代码很简单:

 private void GetConnection(string connectionString, string statement)
    {
        var ds = new DataSet();
        var da = new SqlDataAdapter(statement, connectionString);
        da.Fill(ds);
        SerializeDataSet(ds);
    }

请注意:

  • 这是一个.NET Core控制台应用程序
  • 我无权在数据库中进行更改 (例如将大表分解为较小的表。就是这样。)
  • 技巧,在为用户创建应用程序(例如惰性)时可以使用 加载数据,分页)在我进行序列化时在这里不起作用 数据转换为JSON,所以我需要一次检索所有数据。

如果您有一个有用的解决方案,谢谢。

0 个答案:

没有答案