Question

使用Oracle java JDBC（ojdbc14 10.2.x），加载具有多行的查询需要永远（高延迟环境。显然，Oracle JDBC中的默认预取是默认大小“10”，这需要每次往返一次10行。我试图设置一个积极的预取大小来避免这种情况。

 PreparedStatement stmt = conn.prepareStatement("select * from tablename");
 statement.setFetchSize(10000);
 ResultSet rs = statement.executeQuery();

这可以工作，但我得到一个内存不足异常。我曾经假设setFetchSize会告诉它在它们进入时缓冲“那么多行”，使用每行所需的RAM。如果我运行50个线程，即使使用16G的-XMX空间，它也会耗尽内存。感觉几乎像泄漏：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at java.lang.reflect.Array.newArray(Native Method)
    at java.lang.reflect.Array.newInstance(Array.java:70)
    at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
    at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7422)
    at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:983)
    at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:273)
    at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:144)
    at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:771)
    at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:346)
    at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186)
    at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:521)
    at oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:205)
    at oracle.jdbc.driver.T4CPreparedStatement.executeForDescribe(T4CPreparedStatement.java:861)
    at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1145)
    at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1267)
    at oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3449)
    at oracle.jdbc.driver.OraclePreparedStatement.executeQuery(OraclePreparedStatement.java:3493)
    at oracle.jdbc.driver.OraclePreparedStatementWrapper.executeQuery(OraclePreparedStatementWrapper.java:1491)
    ....

我还能做些什么来获取预取但不会耗尽RAM？发生了什么事？

SO上最近的相关项目是：https://stackoverflow.com/a/14317881/32453

Answer 1

基本上，oracle对以后的ojdbc jar的默认策略是“预分配”每个“预取”行的数组，该行可以容纳可能从该查询返回的最大大小。所以在我的情况下，我有一些VARCHAR2（4000），所以50个线程* 3列varchar2的* 4000加起来超过千兆字节的RAM [yikes]。似乎没有选项可以说“不预先分配该数组，只需使用所需的大小”。 Ojdbc甚至将这些预先分配的缓冲区保存在预备语句之间的中，以便它可以重用它们。绝对是一个记忆猪。

修复是确定最大实际列大小，然后用（假设50是最大大小）select substr(column_name, 0, 50)以及配置文件替换查询，并且仅使用setFetchSize的高值作为实际显着的速度改进。

你可以做的其他事情：减少预取行数，增加Xmx参数，只选择你需要的列。

一旦我们能够至少使用prefetch 400 [确保分析查看哪些数字对你有用，并且在所有查询中我们都看到了预取大小为3-4K的高延迟]，性能得到了显着提升。 / p>
我想如果你想要对稀疏的“非常长”的行进行积极的攻击，那么当你遇到这些[稀有]行时，你可能会重新查询。

详细信息ad nauseum here

Oracle JDBC预取：如何避免RAM耗尽

1 个答案: