插入大量数据

时间:2013-09-10 14:35:35

标签: java mysql bigdata

我正在读取468migs文件,隔离数据然后必须存储到mysql中。我正在使用Eclipse-Kepler,mysql 5.0+ 该文件有超过500万行。使用mappedbytebuffer我正在阅读文件,该文件已经将12小时的时间大幅缩短到4分钟。 :)

我插入的哈希表的大小为851362,插入数据花了我5.6小时。 我一次运行一批15000个插入查询。使用准备好的声明。

我无法使用LOADFILE在mysql中加载文件,因为文件高度无组织,需要组织,删除重复项并适合我的工作。

我现在需要帮助,因为,我必须在数据库中插入这么多三次,因此总计大于10-12小时。 使用Hibernate是一个不错的选择吗?

Insert large amount of data to DB using Hibernate

非常感谢。

0 个答案:

没有答案