我正在扩展一个SSIS包，它从文本文件中获取数据，600,000行数据左右，根据一组业务规则修改每行中的一些值，并将数据保存到数据库，数据库B.我正在添加一些参考数据验证，需要在将数据写入数据库B之前对每一行执行。参考数据存储在另一个数据库中，即数据库A.
数据库A中的参考数据存储在七个不同的表中;每个表只有4或5列varchar类型。其中六个表包含＆lt; 100万条记录，第七条记录有1000多万条记录。我不想为文件中的每一行维护数据库，我只想获得一些关于我提出的方法的反馈以及如何最好地管理最大表的想法。
需要在脚本组件中执行参考数据检查，脚本组件充当数据流中的源。它有一个ado.net连接。在预执行时，我将从数据库＆＃39; A＆＃39;中检索参考数据，这些表具有＆lt; 100万行，使用ado.net连接，使用sqldatareader循环遍历它们，将它们转换为.Net对象;每个表一个，并将它们添加到字典中。
当我处理文件中的每一行时，我可以使用字典来执行参考数据验证。这是一个好方法吗？有人知道如何最好地管理最大的桌子吗？