如何在SQLQ查询中将大型结果集直接传递给LINQpad中的CSV?

时间:2013-01-07 18:30:22

标签: linqpad

我们使用Linqpad作为数据管理员,作为SSMS的替代报告工具。我们的大多数管理员仍然使用SQL(我们正在慢慢地将其中一些转换为LINQ,但一次只转换一步)。但是,我们遇到了LINQPad的限制,我不知道如何处理。对于大型结果集,由于LINQPad在推送到屏幕之前首先将查询拉入内存,因此我们在大型结果集上耗尽内存。有没有办法将LINQPad中的SQL查询直接推送到CSV?

1 个答案:

答案 0 :(得分:2)

LINQPad没有内置的方法(我应该添加它),但写起来很容易。将以下内容放入“我的扩展”中:

public static class MyExtensions
{
    public static void WriteCsv<T> (this IEnumerable<T> elements, string filePath)
    {
        var fields = typeof (T).GetFields();

        var props = typeof (T).GetProperties()
            .Where (p => IsSimpleType (p.PropertyType))
            .ToArray();

        using (var writer = new StreamWriter (filePath))
        {
            string header = string.Join (",", 
                fields.Select (f => f.Name).Concat (props.Select (p => p.Name)))

            // Work around bug in Excel
            if (header.StartsWith ("ID")) header = " " + header;

            writer.WriteLine (header);
            foreach (var element in elements)
            {
                var values =
                    fields.Select (f => Format (f.GetValue (element))).Concat (
                    props.Select (p => Format (p.GetValue (element, null))));

                writer.WriteLine (string.Join (",", values));
            }
        }
    }

    static string Format (object value)
    {
        if (value == null) return "";

        // With DateTimes, it's safest to force a culture insensitive format:
        if (value is DateTime) return ((DateTime)value).ToString ("s");
        if (value is DateTimeOffset) return ((DateTimeOffset)value).ToString ("s");

        string result = value.ToString();
        result = result.Replace ("\"", "\"\"");
        if (result.Contains (",") || result.Contains ("\"") || result.Any (c => c < 0x20))
            result = "\"" + result + "\"";

        return result;
    }

    public static bool IsSimpleType (Type t)
    {
        if (t.IsGenericType && t.GetGenericTypeDefinition () == typeof (Nullable<>))
            t = t.GetGenericArguments() [0];

        return t.IsPrimitive || Type.GetTypeCode (t) != TypeCode.Object ||
               typeof (IFormattable).IsAssignableFrom (t);
    }
}

请注意,这会使用当前文化格式化值(日期除外)。如果你想使用不变文化,这很容易改变。

在调用它之前,您必须通过将ObjectTrackingEnabled设置为false来禁用对象跟踪以避免在内存中缓存对象:

ObjectTrackingEnabled = false;
Customers.WriteCsv (@"c:\\temp\\customers.csv");