我有一个要求,我需要检查数据库的每一行,或者在Java Batch中没有。
这是我的要求,
我有一个目前包含200行数据的文件,也许这个文件可能会在每天每天增加或缩小。
这里的要求,我需要通过检查文件中的数据来插入和更新引用表。
示例文件
+++++++++++++++++++++++++++++++++++++++++
Emp No Emp Name
1 Name-1
2 Name-2
3 Name-3
4 Name-4
5 Name-5
6 Name-6
7 Name-7
8 Name-8
,,..... it goes on
+++++++++++++++++++++++++++++++++++++++++++++++++++++
我有一个参考表(独立表),其中包含2000行数据。
例如Emp Table
******************************************************
Emp No Emp Name
1 Name-1
2 Name-2
3 Name-3
4 Name-4
5 Name-5
6 Name-6
7 Name-7
8 Name-8
,,..... it goes on
******************************************************
目前,程序是用Java编写的,其中数据从参考表中获取并添加到具有Emp Number作为Key和Emp Details作为值(Map)的Map。
添加后,使用密钥检查文件中的数据是否可用所需数据。如果可用,则更新数据或将新值添加到Map。
然后最后完成批量插入。
以下是我的问题,这种方法是否合适?
因为我不想每次都用表检查数据,因为我希望它的操作成本很高,因为连接必须长时间打开。
但是还有另外一件昂贵的事情,就目前我们在表格中有2000行数据而言,它可能会增加很大一部分甚至10,000(不足为奇)。现在这个问题在地图中保存了大量数据,处理它将是另一个繁忙的权利。
因为两者都会在后期遇到性能问题
操作此类要求的最佳方法是什么,是否存在任何算法。
先谢谢,有人可以给我一个正确的方向。