Question

我们正在使用C＃oracleDataReader从oracle数据库中提取数据到文件，我们使用多个线程，我发现读取clob以外的数据非常快，比如4 GB，1 GB。但是当数据包含clob时，它非常非常慢，即使是12 MB的clob数据也需要3个小时。

我尝试将缓冲区从64 KB增加到5 MB。

请建议如何提高将clob写入文件的速度。

源代码

我们使用2个文件1表示实际csv，1表示clob。我们在csv文件和clob文件中写了记录指针代替clob，我们写了recordpointer，clob值。

else if (objVal is OracleClob)
{
    OracleClob oraVal = (OracleClob)objVal;
    if (oraVal.IsEmpty) 
        sw.Write("");
    else
    {
        //    using (StreamWriter writer = new StreamWriter(fileName, true))
        {
            Interlocked.Increment(ref recordPointer);
            if (recordPointer == 1)
            {
                string fileName = outputFileName.Remove(outputFileName.LastIndexOf("."));
                fileName = fileName + ".clobcsv";
                clobWriter = new StreamWriter(fileName, true);
                log.Info("CLOB data is found in this file " + outputFileName + " and clob data is stored in " + fileName + " file");
                clobWriter.WriteLine("Id," + cols[i]);
            }
            StringBuilder sb = new StringBuilder("\"");
            StringBuilder value = new StringBuilder();
            value.Append(oraVal.Value);
            //CsvEscape(value.ToString());
            value.Replace("\"", "\"\"");

            sb.Append(recordPointer);
            sb.Append("\"");
            sb.Append(delimiter);
            sb.Append("\"");
            //sb.Append(oraVal.Value.Replace("\"", "\"\""));
            sb.Append(value);
            value.Clear();
            sb.Append("\"");

            clobWriter.WriteLine(sb);
            //clobWriter.WriteLine("\"" + recordPointer + "\"" + delimiter + "\"" + oraVal.Value.Replace("\"", "\"\"") + "\"");                                    
        }
        sw.Write(recordPointer);
    }
}

Answer 1

尝试将LOBFetchSize设置为-1。 http://www.stanford.edu/dept/itss/docs/oracle/10g/win.101/b10117/features003.htm

Answer 2

您可能需要考虑使用Oracle工具导出数据。有许多方法可以执行文件IO，其中一些可能比你正在做的快得多。例如，我只是使用dbms_xslprocessor.clob2file在慢速PC上在16秒内写入12 MB CLOB。 Here's a partial list of options.

如何提高将clob数据写入文件的速度

2 个答案: