如何处理大量的Java

时间:2015-03-03 17:38:05

标签: java performance

我有一个要求,我需要检查数据库的每一行,或者在Java Batch中没有。

这是我的要求,

我有一个目前包含200行数据的文件,也许这个文件可能会在每天每天增加或缩小。

这里的要求,我需要通过检查文件中的数据来插入和更新引用表。

示例文件

+++++++++++++++++++++++++++++++++++++++++

Emp No  Emp Name

1        Name-1   
2        Name-2
3        Name-3
4        Name-4
5        Name-5
6        Name-6
7        Name-7
8        Name-8
,,..... it goes on
+++++++++++++++++++++++++++++++++++++++++++++++++++++

我有一个参考表(独立表),其中包含2000行数据。

例如Emp Table

******************************************************
Emp No Emp Name
1      Name-1
2      Name-2
3      Name-3
4      Name-4
5      Name-5
6      Name-6
7      Name-7
8      Name-8
,,..... it goes on
******************************************************

目前,程序是用Java编写的,其中数据从参考表中获取并添加到具有Emp Number作为Key和Emp Details作为值(Map)的Map。

添加后,使用密钥检查文件中的数据是否可用所需数据。如果可用,则更新数据或将新值添加到Map。

然后最后完成批量插入。

以下是我的问题,这种方法是否合适?

因为我不想每次都用表检查数据,因为我希望它的操作成本很高,因为连接必须长时间打开。

但是还有另外一件昂贵的事情,就目前我们在表格中有2000行数据而言,它可能会增加很大一部分甚至10,000(不足为奇)。现在这个问题在地图中保存了大量数据,处理它将是另一个繁忙的权利。


因为两者都会在后期遇到性能问题

操作此类要求的最佳方法是什么,是否存在任何算法。


先谢谢,有人可以给我一个正确的方向。

0 个答案:

没有答案