使用JPA EntityManager批量插入

时间:2012-05-14 13:21:31

标签: java java-ee ejb-3.0 eclipselink

有没有办法可以使用JPA EntityManager来批量插入。我知道没有直接的方法来实现这一目标,但必须有一些方法来实现这一机制。

实际上,对于每次插入操作,它需要300毫秒,我希望使用批量插入而不是单个插入来减少。

这是我正在使用的单个插入执行的代码

        @PersistenceContext(unitName = "testing")
        EntityManager eM;

        Query querys = this.eM.createNativeQuery(insertQuery);
        for (String s : someList) {
            //setting parameters
            querys.executeUpdate();
        }

提前致谢。

4 个答案:

答案 0 :(得分:23)

根据事务是否包含循环,批处理通常已在您的情况下发生。

JPA将在其L1缓存中收集所有更新,并且通常在事务提交时将所有更新全部写入数据库。这与在JDBC中进行批处理并没有什么不同,在您调用更新方法之前,您添加的每个批处理项目也暂时存在于内存中。

潜在的问题是你没有硬性保证JPA确实完成了这个批处理,如果在事务提交或达到阈值时这样做,但我发现在实践中几乎在所有情况下,尤其是在案例中涉及这样一个简单的更新循环,它确实进行了批处理。

一个问题是,即使JPA确实已经进行批处理,您仍然可能希望控制批量大小。通过其他答案链接的文章为此提供了非常有用的信息。

最后,您应该知道您的L1缓存在循环中不断增长,因此如果更新的数量非常大,请定期清除它。或者,如果您的业务逻辑可以维持它,请在多个事务中进行部分更新。例如。交易1中的项目0到100.000,交易2中的项目100.001到200.000等等。

答案 1 :(得分:15)

我知道这是一个相当古老的问题,并且接受了答案。尽管如此,我想对这个非常具体的主题“JPA批量插入”给出一个新的答案。

@PersistenceContext
private EntityManager entityManager;

@Value("${hibernate.jdbc.batch_size}")
private int batchSize;

public <T extends MyClass> Collection<T> bulkSave(Collection<T> entities) {
  final List<T> savedEntities = new ArrayList<T>(entities.size());
  int i = 0;
  for (T t : entities) {
    savedEntities.add(persistOrMerge(t));
    i++;
    if (i % batchSize == 0) {
      // Flush a batch of inserts and release memory.
      entityManager.flush();
      entityManager.clear();
    }
  }
  return savedEntities;
}

private <T extends MyClass> T persistOrMerge(T t) {
  if (t.getId() == null) {
    entityManager.persist(t);
    return t;
  } else {
    return entityManager.merge(t);
  }
}

来源:http://frightanic.com/software-development/jpa-batch-inserts/

答案 2 :(得分:12)

可以使用JPA执行批量写入,但它高度依赖于持久性提供程序,数据库和JDBC驱动程序的特定实现。例如,这个article解释了如何使用EclipseLink JPA 2.3和Oracle数据库启用批量写入(优化#8)。查看特定环境中的类似配置参数。

答案 3 :(得分:3)

JPA本身没有任何批量设置。但是,有一些依赖于实现的设置。 Here is an example for hibernate