ODP .NET表现得很奇怪

时间:2013-11-01 04:04:16

标签: c# .net oracle odp.net dataprovider

我之前的question中描述的应用程序本身。在DAL方面,我使用

Oracle.ManagedDataAccess, Version=4.121.1.0, Culture=neutral, PublicKeyToken=89b483f429c47342

这是连接字符串:

User id=usr;Password=pwd;Data Source=database1;Validate connection=True;Connection timeout=8;Pooling=false

标准是有时ODP会在异常后引发:

Oracle.ManagedDataAccess.Client.OracleException (0xFFFFFC18): Connection request timed out
   in OracleInternal.ConnectionPool.PoolManager`3.CreateNewPR(Int32 reqCount, Boolean bForPoolPopulation, ConnectionString csWithDiffOrNewPwd, String instanceName)
   in OracleInternal.ConnectionPool.PoolManager`3.Get(ConnectionString csWithDiffOrNewPwd, Boolean bGetForApp, String affinityInstanceName, Boolean bForceMatch)
   in OracleInternal.ConnectionPool.OraclePoolManager.Get(ConnectionString csWithNewPassword, Boolean bGetForApp, String affinityInstanceName, Boolean bForceMatch)
   in OracleInternal.ConnectionPool.OracleConnectionDispenser`3.Get(ConnectionString cs, PM conPM, ConnectionString pmCS, SecureString securedPassword, SecureString securedProxyPassword)
   in Oracle.ManagedDataAccess.Client.OracleConnection.Open()
   in MySyncApp.DBRepository.GetChangedDataDB(DateTime startPeriod) in D:\MySyncApp\MySyncApp\DB.cs:line 23
   in MySyncApp.Program.<>c__DisplayClass30.<>c__DisplayClass32.<Synchronize>b__2f(ID id) in D:\MySyncApp\MySyncApp\Program.cs:line 441

但是在这个例外之后,当我查看Oracle中的会话时,我发现实际连接正在存在,并且只标记为INACTIVE!因此,此类连接将继续挂在服务器端,逐渐耗尽可用会话数。

我的代码中没有什么特别的,只是

public List<DataObj> GetChangedDataDB(DateTime startPeriod)
{
    List<DataObj> list = new List<DataObj>();
    using (OracleConnection conn = new OracleConnection(this._connstr))
    {
        conn.Open();

        using (OracleCommand comm = new OracleCommand("select data from table(usr.syncpackage.GetChanged(:pStart))", conn))
        {
            comm.CommandTimeout = 10;
            comm.Parameters.Add(":pStart", startPeriod);

            using (OracleDataReader reader = comm.ExecuteReader())
            {
                // ..omitted
            }
        }

    }
    return list;
}

此代码在Parallel.ForEach循环中运行,用于同时从大量数据库中提取数据。甚至可能是与同一数据库的三个并行连接(从模式的不同部分提取数据,例如,从三个不同的企业部门中提取数据)。

Oracle是

  

Oracle Database 11g企业版11.2.0.3.0版 - 64位   生产

同步过程本身以10秒的间隔在计时器上触发。如果已经有运行任务,则下一个任务正在停止:

    public static void Synchronize(object obj)
    {            
        // ... omitted
        log.Info("ITERATION_COMMON_START");

        if (Program.State == "Running")
        {
            log.Info("ITERATION_COMMON_END_BY_EXISTING");
            return;
        }

        lock (Program.StateLock)
        {
            Program.State = "Running";
        }                   

        Parallel.ForEach(Global.config.dbs, new ParallelOptions { MaxDegreeOfParallelism = -1 }, (l) =>
        {
            Console.WriteLine("Started synchronization for {0}", l.key);
            DBRepository db = new DBRepository(l.connectionString);

            Parallel.ForEach(l.departments, new ParallelOptions { MaxDegreeOfParallelism = -1 }, (department) =>
            {                       
                DateTime ChangesFromTS = GetPreviousIterationTS;
                List<DataObj> cdata = db.GetChangedDataDB(ChangesFromTS);
                // ... doing the work here
            }

        }

        // Finishing work

        GC.Collect();            

        lock (Program.StateLock)
        {
            Program.State = "";
        }

    }

这是定期调用同步任务的计时器:

Program.getModifiedDataTimer = new Timer(Program.Synchronize, null, (int)Global.config.syncModifiedInterval * 1000, (int)Global.config.syncModifiedInterval * 1000);

Global.config.syncModifiedInterval是几秒钟

当我打开池时,ODP的行为方式与此相同。它创建的连接数多于Max pool size指令在具有相同异常的连接字符串中所允许的连接数。

请告诉我你对这些事情的看法和经验。


更新

以下是引发异常时的一条Oracle跟踪:

(PUB) (ERR) OracleConnection.Open() (txnid=n/a) Oracle.ManagedDataAccess.Client.OracleException (0xFFFFFC18): Connection request timed out
   in OracleInternal.ConnectionPool.PoolManager`3.CreateNewPR(Int32 reqCount, Boolean bForPoolPopulation, ConnectionString csWithDiffOrNewPwd, String instanceName)
   in OracleInternal.ConnectionPool.PoolManager`3.Get(ConnectionString csWithDiffOrNewPwd, Boolean bGetForApp, String affinityInstanceName, Boolean bForceMatch)
   in OracleInternal.ConnectionPool.OraclePoolManager.Get(ConnectionString csWithNewPassword, Boolean bGetForApp, String affinityInstanceName, Boolean bForceMatch)
   in OracleInternal.ConnectionPool.OracleConnectionDispenser`3.Get(ConnectionString cs, PM conPM, ConnectionString pmCS, SecureString securedPassword, SecureString securedProxyPassword)
   in Oracle.ManagedDataAccess.Client.OracleConnection.Open()

更新#2

似乎这种连接因为滞后连接而显示出来,就像发送oracle连接的请求被发送但其响应被忽略了。或者,发送到服务器或从服务器发送的数据在到达目的地时正在被破坏。

即使关闭应用程序,连接仍会挂在服务器的会话列表中。当我杀死一个会话时,它会挂在列表中,并带有“KILLED”标签。


更新#3

Here是同样问题的演示应用程序。正如我之前所说,它出现在连接不良时,您可以使用WANem模拟器模拟此类连接。 Here与我用于数据库连接的组件相同。希望得到你的帮助。

3 个答案:

答案 0 :(得分:4)

您的连接超时非常低,一般为8秒,您发出的命令为10秒,尝试将其增加到一分钟,看看会发生什么。我不知道你的算法有多重,但只要一个线程在一个地方失败并且在不到8秒的时间内查询就足够了,你就会得到那个例外。

此外,我找不到文档说明ODP.net不是线程安全的,但我找不到任何文档说它也是,所以如果没有别的帮助尝试这个改变:

    Parallel.ForEach(Global.config.dbs, new ParallelOptions { MaxDegreeOfParallelism = -1 }, (l) =>
    {
        Console.WriteLine("Started synchronization for {0}", l.key);

        Parallel.ForEach(l.departments, new ParallelOptions { MaxDegreeOfParallelism = -1 }, (department) =>
        {                       
            // Now local to the executing thread.
            DBRepository db = new DBRepository(l.connectionString);

            DateTime ChangesFromTS = GetPreviousIterationTS;
            List<DataObj> cdata = db.GetChangedDataDB(ChangesFromTS);
            // ... doing the work here
        }

    }

答案 1 :(得分:1)

我的F#代码遇到了同样的问题。它同时生成许多连接,不使用任务并行库。我同意flindebergMotomoto Pink以及您自己的结论,即问题是来自Oracle的连接确认响应是在连接请求超时异常之后发生的。

和其他人一样,我建议你增加连接请求超时。但另外,您可以考虑使用连接池,并将Min Pool Size参数设置为将打开连接的并行生成线程数。当部门数量很大时,使用连接池可以显着提高客户端和服务器端的性能。

答案 2 :(得分:0)

您是否尝试过命令超时(方法GetChangedDataDB中的代码行)?像这样的东西

 comm.CommandTimeout = 360;

我已经创建了管理大量数据的项目,并且我也收到了错误消息,所以我添加了越来越多的CommandTimeout值,然后它可以工作,但我不确定你是否遇到了和我一样的情况。

另一方面,我看到你在Parallel.ForEach范围内有Parallel.ForEach范围,我想你可以尝试使用任务并行库来修改第二个范围。你可以在这里了解更多http://msdn.microsoft.com/en-us/library/dd537609.aspx

然后你的第二个Parallel.ForEach范围应该是这样的

Task task = new Task(() =>
Parallel.ForEach(l.departments, new ParallelOptions { MaxDegreeOfParallelism = -1 }, (department) =>
{
    // Now local to the executing thread.
    DBRepository db = new DBRepository(l.connectionString);

    DateTime ChangesFromTS = GetPreviousIterationTS;
    List<DataObj> cdata = db.GetChangedDataDB(ChangesFromTS);
    // ... doing the work here
}
)); //close lambda expression

task.Start();