Question

我正在研究一个在Tomcat 6上运行的Java项目，该项目连接到MySQL数据库。所有程序都按照应有的方式运行，无论是在本地测试还是在我们客户的服务器上进行测试。但是有一个例外，那就是一个过程，它检索大量数据以生成报告。从MySQL执行存储过程大约需要13分钟左右。当我在本地运行应用程序并连接到在线数据库时，该过程确实有效，唯一不起作用的是它在我们客户端的服务器上运行时。

客户端对他的服务器非常保护，因此我们对它的控制有限，但他们确实希望我们解决问题。当我检查日志文件时，执行存储过程的函数不会抛出任何错误。并在代码中放入一些调试日志，它表明它确实进入了执行调用，但是在调用之后没有记录调试，既没有在catch中记录错误，也在进入finally部分。

他们声称MySQL日志中没有超时错误。

如果有人知道可能导致此问题的原因，我们将不胜感激。

更新：

经过一些唠叨到服务器管理员后，我终于可以访问catalina日志了，在那些日志中，我终于发现了一个有一些含义的错误：

Exception in thread "Thread-16" java.lang.OutOfMemoryError: Java heap space
        at java.util.Arrays.copyOf(Arrays.java:2894)
        at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:117)
        at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:407)
        at java.lang.StringBuffer.append(StringBuffer.java:241)
        at be.playlane.mink.database.SelectExportDataProcedure.bufferField(SelectExportDataProcedure.java:68)
        at be.playlane.mink.database.SelectExportDataProcedure.extractData(SelectExportDataProcedure.java:54)
        at org.springframework.jdbc.core.JdbcTemplate.processResultSet(JdbcTemplate.java:1033)
        at org.springframework.jdbc.core.JdbcTemplate.extractReturnedResultSets(JdbcTemplate.java:947)
        at org.springframework.jdbc.core.JdbcTemplate$5.doInCallableStatement(JdbcTemplate.java:918)
        at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:876)
        at org.springframework.jdbc.core.JdbcTemplate.call(JdbcTemplate.java:908)
        at org.springframework.jdbc.object.StoredProcedure.execute(StoredProcedure.java:113)
        at be.playlane.mink.database.SelectExportDataProcedure.execute(SelectExportDataProcedure.java:29)
        at be.playlane.mink.service.impl.DefaultExportService$ExportDataRunnable.run(DefaultExportService.java:82)
        at java.lang.Thread.run(Thread.java:636)

奇怪的是，这不会记录到应用程序日志，即使它被包装在try catch中。现在基于错误，问题在于这些方法：

public Object extractData(ResultSet rs) throws SQLException, DataAccessException
  {
    StringBuffer buffer = new StringBuffer();

    try
    {
      // get result set meta data
      ResultSetMetaData meta = rs.getMetaData();
      int count = meta.getColumnCount();

      // get the column names; column indices start from 1
      for (int i = 1; i < count + 1; ++i)
      {

        String name = meta.getColumnName(i);
        bufferField(name, i == count, buffer);
      }

      while (rs.next())
      {

        // get the column values; column indices start from 1
        for (int i = 1; i < count + 1; ++i)
        {
          String value = rs.getString(i);
          bufferField(value, i == count, buffer);
        }
      }
    }
    catch (Exception e)
    {
      logger.error("Failed to extractData SelectExportDataProcedue: ", e);
    }

    return buffer.toString();
  }

  private void bufferField(String field, boolean last, StringBuffer buffer)
  {
    try
    {
      if (field != null)
      {

        field = field.replace('\r', ' ');
        field = field.replace('\n', ' ');

        buffer.append(field);
      }

      if (last)
      {
        buffer.append('\n');
      }
      else
      {
        buffer.append('\t');
      }
    }
    catch (Exception e)
    {
      logger.error("Failed to bufferField SelectExportDataProcedue: ", e);
    }
  }

这些函数的目标是将某个结果集导出到excel文件（在更高级别上发生）。

因此，如果有人对优化这一点有一些提示，那么他们非常受欢迎。

Answer 1

好的，您的堆栈跟踪为您提供了答案：

Exception in thread "Thread-16" java.lang.OutOfMemoryError: Java heap space

这就是你没有登录的原因，应用程序崩溃了（Thread，具体而言）。从您的描述来看，听起来您有一个需要被分页的大量数据集。

      while (rs.next())
      {

        // get the column values; column indices start from 1
        for (int i = 1; i < count + 1; ++i)
        {
          String value = rs.getString(i);
          bufferField(value, i == count, buffer);
        }
      }

这是你线程死亡的地方（可能）。基本上你的StringBuffer内存不足。至于纠正它，有很多选择。在客户端问题上投入更多内存（通过配置JVM（这是一个链接）： How to set the maximum memory usage for JVM?

或者，如果您已经这样做了，请将更多RAM投入设备。

从编程的角度来看，这听起来像是一个很糟糕的报道。您可以将一些数字运算卸载到MySQL而不是缓存（如果可能），或者，如果这是一个巨大的报告，我会考虑将其流式传输到文件，然后通过缓冲流读取以填充报告。

这完全取决于报告的内容。如果它很小，我的目标是在SQL中做更多工作以最小化结果集。如果它是一个巨大的报告，那么缓冲是另一种选择。

您可能缺少的另一种可能性是ResultSet（取决于实现）可能是缓冲的。这意味着您可以直接获取ResultSet对象并从中进行打印，而不是将其全部读取到字符串。当然，这样做的缺点是，一个迷路的SQL异常会终止你的报告。

祝你好运，我先尝试一下内存选项。你可能会运行一些像128这样小巧的东西，这很简单（我已经看到这在远程管理的机器上发生了很多）。

Java storedProcedure因OutOfMemoryError而停止

1 个答案: