奇怪的JDBC executeQuery异常

时间:2009-01-21 12:45:42

标签: java mysql jdbc large-query

我有以下代码:

 public Object RunQuery(String query) throws Exception{
    System.out.println("Trying to run query");
    Statement stmt = null;
    ResultSet rs = null;
    try {
        stmt = conn.createStatement();
        System.out.println("Got Statement");
        rs = stmt.executeQuery(query);
        System.out.println("Query executed");
        ...


    } catch (SQLException ex) {
        // handle any errors
        System.out.println("SQLException: " + ex.getMessage());
        System.out.println("SQLState: " + ex.getSQLState());
        System.out.println("VendorError: " + ex.getErrorCode());
    }
    catch (Exception ex) {
        System.out.println("Exception: " + ex.getMessage());
    }
    finally {
       if (rs != null) {
            try {
                rs.close();
            } catch (SQLException sqlEx) {
            } // ignore
            rs = null;
        }
        if (stmt != null) {
            try {
                stmt.close();
            } catch (SQLException sqlEx) {
            } // ignore
            stmt = null;
        }
       return ret;
    }
}

运行

时效果很好
query = "SELECT * FROM smalltable"

但是失败了

query = "SELECT * FROM bigtable"

有大约200K的记录。 调试器优雅地忽略catch块并直接进入finally块;当我将stmt.executeQuery(查询)添加到监视列表时,NetBeans给了我这个堆栈框架:

>Exception occurred in target VM: Communications link failure  Last packet sent to the server was 0 ms ago.  
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure  Last packet sent to the server was 0 ms ago.

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)

at java.lang.reflect.Constructor.newInstance(Constructor.java:513)

at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)

at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1074)

at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3009)

at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:2895)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3438)

at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1951)

at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)

at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2548)

at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2477)

at com.mysql.jdbc.StatementImpl.executeQuery(StatementImpl.java:1422)

at RunQuery
Caused by: java.net.SocketException: Software caused connection abort: recv failed

at java.net.SocketInputStream.socketRead0(Native Method)

at java.net.SocketInputStream.read(SocketInputStream.java:129)

at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:157)

at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:188)

at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:2452)

at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:2962)

... 9 more




如何在此框架中执行大型查询?



编辑:我正在使用J连接器和mysql服务器5.1;连接字符串是

jdbc:mysql://localhost?user=root&password=password

是的,我知道选择*是一种不好的做法,但正如你所看到的那样,我刚刚开始,这或多或少是我正在进行的第二次测试

3 个答案:

答案 0 :(得分:1)

我唯一能想到的就是导致差异的是某种网络级超时,而Netbeans输出肯定会指向这个方向。您正在使用的JDBC连接字符串是什么;也许有一个可以提升的超时参数?

如果问题仍然存在,并且看到该级别的通信是什么,也可能值得插入网络数据包嗅探器。通过短期和长期查询来“发现差异”,您可能会很好地了解在另一方成功的情况下导致失败的原因。

(一般来说select *是一个坏主意,仅仅因为它不必要地带来了所有额外数据。在这种情况下,选择大表中所有行的所有列显然会给连接带来麻烦从较小的表中选择。我知道在这种情况下你的问题仍然有效,因为有时你可能需要这样做,除了选择一个更大的表的子集可能会做同样的事情,但我只是指点如果你在生产中使用它作为捷径,这可以作为一般指导。)

答案 1 :(得分:1)

我的直接想法是,在获取所有数据时可能存在内存问题。我不知道如何为此目的设置MySQL,但您可能想尝试在ResultSet中设置提取大小或通过选择较少的列来限制ResultSet大小。 JDBC驱动程序可能正在尝试在一次操作中获取整个表。

作为旁注,请请永远不要做stmt.executeQuery(查询)。始终使用PreparedStatement并绑定查询参数。在您的示例中没有参数,但这是一种对安全性至关重要的做法。切勿使用带有'文字'参数的SQL(例外情况是文字是可信字符串,例如代码中的常量或非字符串类型,例如您已经解析过的数字)。

答案 2 :(得分:0)

如果它直接跳到finally,那么被抛出其他代码的“异常”实际上是Error的后代吗?那将完全避免你的捕获。

你可能得到了一个OutOfMemoryError,然后得到了网络异常,因为OOME关闭了一些东西?