Question

我需要提高数据加载的性能。目前的algorythm从表中完整选择：

select Field1, Field2,...,FieldN from Table1 order by FieldM

从文本文件中读取新数据（例如，每个数据表行的文本文件行）。该表有一个主键，包含两个字段。对于文本文件的每一行，它通过这两个字段（即主键）定位必要的行。

query.Locate('Field1;Field2',VarArrayOf([Value1,Value2]),[]);

如果Locate返回True，则会对该行进行修改，否则会附加一行。

因此，只要该表包含大约200000行，每个Locate操作需要一定的时间...所以它设法每秒更新大约5-6行。

我应该考虑采取哪些措施来改善它？

可能会通过单独的查询替换通过这个精选的定位来定位吗？

Answer 1

不要使用Locate（）。如果你使用locate（），那么Delphi在客户端搜索行只是从查询中扫描行集需要很多时间。

如果您有权访问MSSQL来创建存储过程，那么创建以下过程并在没有任何条件的情况下为TEXT文件中的每一行运行它（在Delphi中使用TAdoStoredProc.ExecProc）。因此，在这种情况下，您不需要首先选择和定位程序。如果找到Filed1和Field2，它会更新记录，如果不是，则更新。

CREATE PROCEDURE dbo.update_table1 
@Field1 int, --key1
@Field2 int, --key2
@Field3 int, -- data fileds
@Field4 int

AS

SET NOCOUNT ON
update table1 set Field3=@Field3,Field4=@Field4 
        where Field1=@Field1 and Field2=@Field2;
IF(@@Rowcount=0)
BEGIN
     insert into table1(Field1,Field2,Field3,Field4) 
                values (@Field1,@Field2,@Field3,@Field4);
END
GO

以下是使用ADO调用此存储过程的Delphi代码：

......
var 
     ADOStoredP: TADOStoredProc;

  ......
begin

........
    ADOStoredP:=TADOStoredProc.Create(nil);
   try
      ADOStoredP.Connection:=DataMod.SQL_ADOConnection; //Your ADO Connection instance here
      ADOStoredP.ProcedureName:='Update_table1';
      ADOStoredP.Parameters.CreateParameter('@Field1', ftInteger, pdInput, 0, 0);
      ADOStoredP.Parameters.CreateParameter('@Field2', ftInteger, pdInput, 0, 0);
      ADOStoredP.Parameters.CreateParameter('@Field3', ftInteger, pdInput, 0, 0);
      ADOStoredP.Parameters.CreateParameter('@Field4', ftInteger, pdInput, 0, 0);

      While () -- Your text file loop here
      begin

      ADOStoredP.Parameters.ParamByName('@Field1').Value:=Field1 value from text file here;
      ADOStoredP.Parameters.ParamByName('@Field2').Value:=Field2 value from text file here;
      ADOStoredP.Parameters.ParamByName('@Field3').Value:=Field3 value from text file here;
      ADOStoredP.Parameters.ParamByName('@Field4').Value:=Field4 value from text file here;

      ADOStoredP.ExecProc;

      end

    finally
      if Assigned(ADOStoredP) then
        begin
         ADOStoredP.Free;
        end;
    end;

........
end;

Answer 2

如果可能，则应将文本文件发送到运行SQL Server的服务器。然后使用OPENROWSET(BULK)打开文本文件（请参阅“E.使用带有格式文件的OPENROWSET BULK提供程序从文本文件中检索行”）。
如果无法将文本文件发送到服务器，则创建临时或永久数据库表，并使用INSERT将所有文本文件行插入表中。
如果您使用的是SQL Server 2008，则应使用MERGE运算符。如果更旧的SQL Server版本，则可以使用两个SQL命令：UPDATE和INSERT。并且作为数据源使用（1）OPENROWSET或（2）DB表。

如何提高数据插入/更新性能？

2 个答案: