我正在开发一个Spring-MVC应用程序,我们在其中使用Hibernate和c3p0进行数据库事务和连接池。大多数时候它的工作非常好,没有问题。但在某些情况下,我必须在当前事务中复制大量对象和文件。当发生这种情况时,整个服务器速度变慢,最后我开始获得could not rollback exception
。我的c3p0设置有什么问题吗?谢谢。
pom.xml:
<!--- Hibernate dependencies -->
<dependency>
<groupId>org.hibernate</groupId>
<artifactId>hibernate-validator</artifactId>
</dependency>
<dependency>
<groupId>org.hibernate</groupId>
<artifactId>hibernate-core</artifactId>
</dependency>
<dependency>
<groupId>org.hibernate</groupId>
<artifactId>hibernate-entitymanager</artifactId>
</dependency>
<dependency>
<groupId>org.hibernate</groupId>
<artifactId>hibernate-c3p0</artifactId>
<version>4.3.9.Final</version>
</dependency>
root-context.xml:
<beans:bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource"
destroy-method="close">
<beans:property name="driverClassName" value="org.postgresql.Driver"/>
<beans:property name="url"
value="jdbc:postgresql://localhost:PORT/DB_NAME"/>
<beans:property name="username" value="USERNAME"/>
<beans:property name="password" value="PASSWORD"/>
<beans:property name="removeAbandoned" value="true"/>
<beans:property name="removeAbandonedTimeout" value="20"/>
<beans:property name="defaultAutoCommit" value="false"/>
</beans:bean>
<!-- Hibernate 4 SessionFactory Bean definition -->
<beans:bean id="hibernate4AnnotatedSessionFactory"
class="org.springframework.orm.hibernate4.LocalSessionFactoryBean">
<beans:property name="dataSource" ref="dataSource"/>
<beans:property name="packagesToScan" value="com.ourapp.spring.model"/>
<beans:property name="hibernateProperties">
<beans:props>
<beans:prop key="hibernate.dialect">org.hibernate.dialect.PostgreSQL9Dialect</beans:prop>
<beans:prop key="hibernate.show_sql">false</beans:prop>
<!--<beans:prop key="hibernate.jdbc.batch_size">1000</beans:prop>-->
<beans:prop key="hibernate.hbm2ddl.auto">update</beans:prop>
<beans:prop key="cache.use_second_level_cache">true</beans:prop>
<beans:prop key="cache.use_query_cache">true</beans:prop>
<beans:prop key="hibernate.order_updates">true</beans:prop>
<beans:prop key="show_sql">false</beans:prop>
<beans:prop key="hibernate.c3p0.min_size">1</beans:prop>
<beans:prop key="hibernate.c3p0.max_size">750</beans:prop>
<beans:prop key="hibernate.c3p0.acquire_increment">1</beans:prop>
<beans:prop key="hibernate.c3p0.idle_test_period">1000</beans:prop>
<beans:prop key="hibernate.c3p0.max_statements">150</beans:prop>
<beans:prop key="hibernate.c3p0.timeout">1200</beans:prop>
<beans:prop key="hibernate.connection.release_mode">auto</beans:prop>
</beans:props>
</beans:property>
</beans:bean>
谢谢。
答案 0 :(得分:2)
首先,您没有使用C3P0只是因为您已将org.apache.commons.dbcp.BasicDataSource
配置为DataSource
并将其注入LocalSessionFactoryBean
。这基本上使所有hibernate.c3p0
设置无效,因为它们将被忽略。
接下来您遇到处理大量数据的问题,我非常怀疑问题是您的DataSource
或连接池,而是您处理实体的方式以及如何配置Hibernate。
要加快批处理速度,您需要将每个x记录刷新到数据库并清除第一级缓存。为什么你想这样做你可能想知道。它与Hibernate的工作方式有关,当你持久化Hibernate所做的事情时,它会将它添加到第一级缓存(如果是JPA,则为Session
或EntityManager
)。每次将项添加到第一级缓存时,它都会对第一级缓存中的所有实体执行脏检查,以确定是否需要刷新某些内容。现在这对于前几个实体来说会很快,但会变得越来越慢。
允许为批量大小为50配置和编码事物。
首先,您希望将hibernate配置为具有正确的批处理大小,并且您希望订购插入和更新语句。如果这样做,您可以从JDBC现在可以执行批量更新(即一个插入或更新语句来修改50个记录而不是50个单个插入/更新语句)中受益。
<beans:bean id="hibernate4AnnotatedSessionFactory"
class="org.springframework.orm.hibernate4.LocalSessionFactoryBean">
<beans:property name="dataSource" ref="dataSource"/>
<beans:property name="packagesToScan" value="com.ourapp.spring.model"/>
<beans:property name="hibernateProperties">
<beans:props>
<beans:prop key="hibernate.dialect">org.hibernate.dialect.PostgreSQL9Dialect</beans:prop>
<beans:prop key="hibernate.show_sql">false</beans:prop>
<!--<beans:prop key="hibernate.jdbc.batch_size">1000</beans:prop>-->
<beans:prop key="hibernate.hbm2ddl.auto">update</beans:prop>
<beans:prop key="hibernate.cache.use_second_level_cache">true</beans:prop>
<beans:prop key="hibernate.cache.use_query_cache">true</beans:prop>
<beans:prop key="hibernate.jdbc.batch_size">50</beans:prop>
<beans:prop key="hibernate.order_inserts">true</beans:prop>
<beans:prop key="hibernate.order_updates">true</beans:prop>
<!-- If you use versioned entities set this to true as well -->
<beans:prop key="hibernate.jdbc.batch_versioned_data">true<beans:prop>
</beans:props>
</beans:property>
</beans:bean>
public void yourLargeDataSetProcessingMethod() {
Session session = sessionFactory.getCurrentSession();
int i = 0;
for (YourItem item : List<YourItem> items) {
i++:
// Here will be processing / creation
if (i % 50 == 0) {
session.flush();
session.clear();
}
}
session.flush();
session.clear();
}
这可能会加快您的处理和数据库锁定速度。
最后一点,我建议使用HikariCP作为连接池而不是Commons DBCP或C3P0。它非常小,非常快速且主动维护(而C3P0已经休眠了很长时间)。
Here是一个很好的资源(有基准等),关于每个设置的作用,添加或删除性能以及如何正确配置。