我正在读取468migs文件,隔离数据然后必须存储到mysql中。我正在使用Eclipse-Kepler,mysql 5.0+ 该文件有超过500万行。使用mappedbytebuffer我正在阅读文件,该文件已经将12小时的时间大幅缩短到4分钟。 :)
我插入的哈希表的大小为851362,插入数据花了我5.6小时。 我一次运行一批15000个插入查询。使用准备好的声明。
我无法使用LOADFILE在mysql中加载文件,因为文件高度无组织,需要组织,删除重复项并适合我的工作。
我现在需要帮助,因为,我必须在数据库中插入这么多三次,因此总计大于10-12小时。 使用Hibernate是一个不错的选择吗?
Insert large amount of data to DB using Hibernate
非常感谢。