我想读取CSV文件,从每一行创建对象,然后将这些对象保存到数据库中。 当我从我的文件中读取所有行,并将所有对象存储在ArrayList中时,我得到Java堆空间错误。 我尝试在读取后立即保存每条记录,但是通过Hibernate方法保存记录save()需要花费很多时间。
我还尝试检查我的arrayList的大小,并在此大小等于100k时保存数据(注释部分代码)。
问题:有没有办法以部分或更好的方式读取文件以Java格式存储数据?
String[] colNames;
String[] values;
String line;
Map<Object1, Object1> newObject1Objects = new HashMap<Object1, Object1>();
Map<Object1, Integer> objIdMap = objDao.createObjIdMap();
StringBuilder raportBuilder = new StringBuilder();
Long lineCounter = 1L;
BufferedReader reader = new BufferedReader(new InputStreamReader(
new FileInputStream(filename), "UTF-8"));
colNames = reader.readLine().split(";");
int columnLength = colNames.length;
while ((line = reader.readLine()) != null) {
lineCounter++;
line = line.replace("\"", "").replace("=", "");
values = line.split(";", columnLength);
// Object1
Object1 object1 = createObject1Object(values);
if (objIdMap.containsKey(object1)) {
object1.setObjId(objIdMap.get(object1));
} else if (newObject1Objects.containsKey(object1)) {
object1 = newObject1Objects.get(object1);
} else {
newObject1Objects.put(object1, object1);
}
// ==============================================
// Object2
Object2 object2 = createObject2Object(values, object1,
lineCounter, raportBuilder);
listOfObject2.add(object2);
/*
logger.error("listOfObject2.size():"+listOfObject2.size());
if(listOfObject2.size() % 100000 == 0){
object2Dao.performImportOperation(listOfObject2);
listOfObject2.clear();
}
*/
}
object2Dao.performImportOperation(listOfObject2);
答案 0 :(得分:1)
如果要处理非常大的文件,增加最大堆大小不会对您有所帮助。你的朋友是batching
。
Hibernate不会隐式使用JDBC批处理,每个INSERT和UPDATE语句都是单独执行的。阅读"How do you enable batch inserts in hibernate?"以获取有关如何启用它的信息。
注意IDENTITY生成器,it disables batch fetching。