最近,我一直在导入一个大约50到2.5亿条记录的DBF文件,并将离散列结构导入到数据库表中。
假设我有一个数据库表" RawUpload"它由68列组成,用于保存上传的详细信息。对于unMapped列,此数据库表结构与dbase / Excel文件相同。考虑dbase文件A1具有列名称' TrxnNo'在另一个文件A2中有列名' TrxnNum'或者' TradeNo'它交替映射到数据库表列TransactionNumber nvarchar(255)。同样,他们是约。文件中的10到30列可以经常更改。跟踪它们很难,所以我想在运行时使用动态列映射与数据库表。
为了完成这项任务,我尝试了以下案例:
使用 SSIS包但无法使用动态列结构。
使用SqlBulkCopy
花费更多时间来完成甚至导致超时和应用程序挂起状态。
使用 DTS(Interop.DTS)软件包工作正常但无法获取大量记录。
现在我的问题是:这是将这些大文件导入到具有动态列映射的SQL Server表中的最快方法,该映射适用于大数据?
谢谢