Question

我使用MySQL和Java来选择大约50000条记录。奇怪的是，当我使用ResultSet和next（）方法读取数据时，我看到我的java应用程序的RAM使用量在获取期间增加了。它从255 MB开始，增加到379 MB！我正在使用的代码在这里：

try {
    Class.forName("com.mysql.jdbc.Driver");
    Connection conn = DriverManager.getConnection("jdbc:mysql://localhost/#mysql50#crawler - used in report?" + "user=root&password=&useUnicode=true&characterEncoding=UTF-8");
    Statement st = conn.createStatement();
    ResultSet rsDBReader = st.executeQuery("SELECT Id, Content FROM DocsArchive");
    while (rsDBReader.next()) {
        int docId = rsDBReader.getInt(1);
        String content = rsDBReader.getString(2);
        . . .
        }
    rsDBReader.close();
    st.close();
    conn.close();
} catch (Exception e) {
    System.out.println("Exception in reading data: " + e);
}

我确信内存使用是针对ResultSet的，而不是程序的其他部分。在这个程序中，我不需要更新记录，所以我想在完成工作后删除每条记录。我的猜测是，已读取的记录不会被删除，程序也不会释放内存。所以我使用了一些技巧来避免这种情况，例如使用以下代码：

Statement st = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY, ResultSet.CLOSE_CURSORS_AT_COMMIT);

st.setFetchSize(500);
rsDBReader.setFetchSize(500);

但他们并没有改变任何事情。：（

所以我需要一些方法来删除（释放）已读取的行的内存。

另一个有趣的一点是，即使在完成函数并关闭ResultSet，Statement和Connection以及转到程序的其他部分之后，程序内存使用量仍然没有减少！感谢

Answer 1

使用Statement.setFetchSize()向驱动程序提示它应该为包含特定行数的ResultSet流式传输。据我所知，MySQL Connector-J驱动程序确实理解了提示和流ResultSet（但在MySQL的情况下，这一次仅限于一行）。

默认值为0，将确保Connector-J驱动程序无需流式传输即可获取完整的ResultSet。这就是为什么你需要提供一个显式值 - 在MySQL的情况下为Integer.MIN_VALUE。

声明：

Statement st = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY, ResultSet.CLOSE_CURSORS_AT_COMMIT);

不会导致ResultSet流式传输（至少不是自己的流量）。它只是确保结果集不是“可滚动的”（即只能在正向运行）而不是“可更新”，并且当事务提交时底层游标将被关闭。

如JDBC implementation notes of MySQL中所述，上述语句（没有ResultSet.CLOSE_CURSORS_AT_COMMIT参数）必须与Statement.setFetchSize(Integer.MIN_VALUE)调用一起调用，以便逐行进行流式传输。此类情景中涉及的相关警告也已记录在案。

请注意，在MySQL文档中提到的示例中未指定游标的可保持性。如果您需要的值与Connection.getHoldability()提供的值不同，那么此建议可能不适用。

Answer 2

我建议限制在查询中检索的行数。 50000是很多，所以为什么不用一个循环来提取，比方说，每次1000行？

您可以使用limit语句实现此目的，如here所述。对于您正在处理的数据量，务必务实。您当前的选择今天可能会返回50000行，但如果它明天增加到100万行怎么办？你的申请会窒息。所以，一步一步地进行处理。

Answer 3

请注意， Postgres 的最新版本存在类似问题。为了实现游标处理*，您需要在连接connection.setAutoCommit(false)上禁用自动提交，并在SQL语句中使用单个语句（即只包含一个分号的语句）。它对我有用。

Postgres JDBC documentation

Answer 4

您看到的实际上是预期的行为，并不一定表示内存泄漏。对象实例在Java中不会在无法访问后立即进行垃圾收集，并且大多数Java虚拟机非常不愿意将已分配的内存返回给操作系统。

如果您使用的是最新版本的Oracle Java VM并且确实需要更积极的垃圾收集器，您可以通过在java命令中添加以下参数来尝试G1GC实现：

-XX：+ UnlockExperimentalVMOptions -XX：+ UseG1GC

G1GC垃圾收集器通常比默认垃圾收集器更快地回收对象，并且进程也释放了未使用的内存。

使用ResultSet时mysql内存（RAM）使用量增加了吗？

4 个答案: