Question

我需要使用EJB 3，Hibernate，Spring Data和Oracle进行大量插入。最初，我使用的是Spring Data，代码如下：

talaoAITDAO.save(taloes);

其中talaoAITDAO是Spring Data JpaRepository子类，taloes是TalaoAIT实体的集合。在此实体中，其各自的ID具有以下形式：

@Id
@Column(name = "ID_TALAO_AIT")
@SequenceGenerator(name = "SQ_TALAO_AIT", sequenceName = "SQ_TALAO_AIT", allocationSize = 1000)
@GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "SQ_TALAO_AIT")
private Long id;

此实体也没有相关实体进行级联插入。

我的问题是，所有实体都是单独插入的（例如INSERT INTO TABLE(col1, col2) VALUES (val1, val2)）。有时，它可能会导致超时，并且所有插入都将被回滚。我希望在批量插入中转换这些单独的插入（例如INSERT INTO TABLE(col1, col2) VALUES (val11, val12), (val21, val22), (val31, val32), ...）。

研究替代方案以提高性能，我在hibernate文档中发现了this page Hibernate batch size confusion和this other page。基于它们，我写了这段代码：

Session session = super.getEntityManager().unwrap(Session.class);
int batchSize = 1000;
for (int i = 0; i < taloes.size(); i++) {
    TalaoAIT talaoAIT = taloes.get(i);
    session.save(talaoAIT);
    if(i % batchSize == 0) {
        session.flush();
        session.clear();
    }
    taloes.add(talaoAIT);
}
session.flush();
session.clear();

另外，在peristence.xml中，我添加了以下属性：

<property name="hibernate.jdbc.batch_size" value="1000" />
<property name="order_inserts" value="true" />

然而，尽管在我的测试中我发现了一个微妙的差异（主要是大集合和大批量），但它并没有那么大。在日志控制台中，我看到Hibernate继续进行单独插入，而不是替换它们进行大量插入。在我的实体中，我使用的是序列生成器，我相信它不是问题（根据Hibernate文档，如果我使用Identity生成器，我会遇到问题）。

所以，我的问题是这里可能缺少什么。有些配置？有些方法没用过？

谢谢，

Rafael Afonso。

Answer 1

有几件事。

首先，您的配置属性错误order_inserts必须为hibernate.order_inserts。目前您的设置被忽略，您没有更改任何内容。

接下来使用EntityManager而不是做所有讨厌的hibernate东西。 EntityManager也有flush和clear方法。这至少应该清理你的方法。如果没有这个顺序，这有助于清理会话并防止对那里的所有对象进行脏检查。

EntityManager em = getEntityManager();
int batchSize = 1000;
for (int i = 0; i < taloes.size(); i++) {
    TalaoAIT talaoAIT = taloes.get(i);
    em.persist(talaoAIT);
    if(i % batchSize == 0) {
        em.flush();
        em.clear();
    }
    taloes.add(talaoAIT);
}
em.flush();
em.clear();

接下来你不应该让你的批次变大，因为这可能会导致内存问题，从50开始，测试哪些/什么表现最佳。有一点，脏检查将花费更多时间，然后刷新并清除到数据库。你想找到这个最佳点。

Answer 2

M. Deinum发布的解决方案非常适合我，前提是我在JPA persistence.xml文件中设置了以下Hibernate属性：

<property name="hibernate.jdbc.batch_size" value="50" />
<property name="hibernate.jdbc.batch_versioned_data" value="true" />
<property name="hibernate.order_inserts" value="true" />
<property name="hibernate.order_updates" value="true" />
<property name="hibernate.cache.use_second_level_cache" value="false" />
<property name="hibernate.connection.autocommit" value="false" />

我正在使用Oracle数据库，所以我也定义了这个：

<property name="hibernate.dialect" value="org.hibernate.dialect.Oracle10gDialect" />

Answer 3

我最近找到了一个有前途的小型库，用于使用Hibernate和Postgresql批量插入。它称为pedal-dialect，并使用Postgresql-命令COPY，该命令被许多人宣称比批处理插入要快得多（引用：Postgresql manual，Postgresql Insert Strategies - Performance Test，{{3 }}）。踏板方言允许使用COPY而不会完全失去Hibernate的易用性。您仍然可以获得实体和行的自动映射，而不必自己实现。

使用JPA + Hibernate进行大量插入

3 个答案: