Question

我有一个Java应用程序，除其他外，每小时都会发送到我们的Active Directory服务器，并下载所有帐户的列表，并将它们转储到数据库中;这项工作是通过每小时生成一个新的线程完成的，数据库接口是通过Hibernate完成的。线程的run方法（基本上是这个线程唯一做的事情）看起来像这样：

public void run() {
    try {
        Thread.sleep(3600000); //we run once an hour, so we sleep for an hour
        Thread newHourlyRunThread = new Thread(new HourlyRunThread());
        newHourlyRunThread.start();
        LDAPNewUsersReport report = new LDAPNewUsersReport();
        Calendar calendar = Calendar.getInstance();
        calendar.set(0, 0, 0, 0, 0); //We tell the report to look for everything from 12AM Jan 1 0 AD, which should be sufficient to find all created AD objects.
        report.runReport(calendar.getTime(), new Date());
        HashSet<LDAPEntry> allEntries = report.getAllEntries();
        Iterator it = allEntries.iterator();
        while (it.hasNext()) {
            ContactParser.parseContact((LDAPEntry) it.next());
        }
}

ContactParser的相关方法如下：

public static void parseContact(LDAPEntry entry) {
    Contact chosenContact = null;
    Session session = HibernateUtil.getSessionFactory().getCurrentSession();
    session.beginTransaction();

    List contacts = session.getNamedQuery("ContactByCanonicalName").setString(0, entry.getDN()).list();
    Iterator it = contacts.iterator();
    if (it.hasNext()) {
        chosenContact = (Contact) it.next();
        chosenContact = ContactParser.fillContactFields(chosenContact, entry);
    } else {
        chosenContact = ContactParser.fillContactFields(new Contact(), entry);
    }
    session.saveOrUpdate(chosenContact);
    session.getTransaction().commit();
}

private static Contact fillContactFields(Contact chosenContact, LDAPEntry entry) {
    chosenContact.setCanonicalName(entry.getDN());
    chosenContact.setFirstName(ContactParser.getEntryField(entry, "givenName"));
    chosenContact.setLastName(ContactParser.getEntryField(entry, "sn"));
    chosenContact.setUserName(ContactParser.getEntryField(entry, "sAMAccountname"));
    chosenContact.setEmployeeID(ContactParser.getEntryField(entry, "employeeID"));
    chosenContact.setMiddleName(ContactParser.getEntryField(entry, "initials"));
    chosenContact.setEmail(ContactParser.getEntryField(entry, "mail"));
    if(chosenContact.getFirstSeen() == null){
        chosenContact.setFirstSeen(new Date());
    }
    chosenContact.setLastSeen(new Date());
    return chosenContact;
}

private static String getEntryField(LDAPEntry entry, String fieldName){
    String returnString = "";
    if(entry.getAttribute(fieldName) != null){
        returnString = entry.getAttribute(fieldName).getStringValue();
    }
    return returnString;
}

如果我们只运行单个实例（因此，事后没有新的线程产生），这一切都非常好用，但如果我们不止一次运行这个线程（IE，我加快执行到~30秒）所以我可以看到问题），Hibernate报告缺乏堆空间。这似乎不是一个特别强烈的数据集（只有大约6K条目），但是当我们将代码转换为暂存错误以准备推送到生产时，我看到了同样的错误。在编写有效的线程方面我很缺乏经验，而且在Hibernate方面缺乏经验，所以如果有人知道可能会耗尽我们的Heap空间（此应用程序中的另一个主要线程不会同时运行）从查看代码，并占用几百千字节的内存），我非常感谢任何建议。

提前致谢。

Answer 1

您可以使用ScheduledExecutorService重新编写此内容，我怀疑问题的一部分是您创建了大量HourlyRunThread个对象，当您只需要一个时。

例如，此测试说明了如何安排线程每秒运行10秒

@Test(expected = TimeoutException.class)
public void testScheduledExecutorService() throws InterruptedException, ExecutionException, TimeoutException {
    final AtomicInteger id = new AtomicInteger();
    final ScheduledExecutorService service = Executors.newScheduledThreadPool(1);
    service.scheduleAtFixedRate(new Runnable() {
        public void run() {
            System.out.println("Thread" + id.incrementAndGet());
        }
    }, 1, 1, TimeUnit.SECONDS).get(10, TimeUnit.SECONDS);
}

这提供了运行时期望的输出，其中此测试在其10秒运行时创建了近10k个线程

private static final class HourlyRunThread extends Thread {
    private static final AtomicInteger id = new AtomicInteger();
    private final int seconds;

    private HourlyRunThread(final int seconds) {
        super("Thread" + id.incrementAndGet());
        this.seconds = seconds;
    }

    public void run() {
        try {
            Thread.sleep(seconds);
            if (seconds < 10) {
                Thread newHourlyRunThread = new Thread(new HourlyRunThread(seconds));
                newHourlyRunThread.start();
            }
            // do stuff
            System.out.println(getName());
        } catch (InterruptedException e) {
        }
    }
}

@Test
public void testThreading() {
    final Thread t = new HourlyRunThread(1);
    t.start();
}

Answer 2

看起来您正在进行批量插入或更新，在这种情况下，您应该定期刷新和清除Hibernate会话，以便会话级缓存不会占用比您分配的空间更多的空间。

有关如何完成此操作的建议，请参阅Hibernate手册中有关Batch Processing的章节。

此外，我强烈建议您找到另一种方法，在预定的时间范围内启动任务，使用Jon Freedman建议的ScheduledExecutorService或使用Quartz Scheduler等库。在启动实际线程之前将线程休眠3600000毫秒以进行工作似乎是处理此问题的一个非常有问题（且非确定性）的方法。

Answer 3

Memory Analyzer是一个免费的开源强大的Java堆分析器。我已经用了好几次来确定内存泄漏的来源。使用此工具，您将能够快速查看休眠是否值得惩罚; - ）

Answer 4

感谢大家提出的建议，但事实证明，我们收到的错误实际上是由本地测试和登台之间的配置错误引起的 - 数据库是新的，并且未正确配置权限以允许暂存与创建的数据库对话的区域。使用正确的权限运行时，它就像魅力一样。

我一定会考虑为Hibernate设置批处理设置，并转移到线程调度程序而不是我当前的黑客攻击系统。

Answer 5

我无意中为每笔交易创建了一个新的sessionfactory。出于某种原因，GC无法清除旧的sessionfactories。

始终使用相同的SessionFactory实例解决了我的问题。

Hibernate out of Memory Heap错误

5 个答案: