使用数据库表条目验证100k记录

Question

我有一个包含100,000个条目的Excel，我需要使用数据库验证每个记录并验证数据库（DB2）中是否存在相同的记录。 进行此比较和验证的优化方法是什么？

Answer 1

基于提供的非常有限的信息：

1. 从Excel导出为CSV（使用另存为并选择文件类型CSV）
2. 编写一些代码来阅读CSV（比直接阅读Excel文件容易得多）并执行验证

如果您可以在DB2中编写查询以提取与Excel文件中相同的列，则应该能够生成验证数据，以便通过简单的文件比较来验证原始数据。您必须从Excel文件和数据库查询中消除任何“噪声”列，例如代理键（数字ID列）和创建/编辑的时间戳。

Answer 2

我认为这并不容易。您可以将Excel工作表转换为db数据库，并使用一些脚本/程序验证它们。

感谢

Answer 3

我喜欢@Jim Garrison的解决方案。如果您无法以这种方式解决问题，我建议创建一个存储过程并将数据（仅需要的列，例如id）以块（因为您将params传递给DB的限制）传递给该过程并获取非现有的结果。