SQL Server历史记录表 - 通过SP或Trigger填充?

时间:2008-12-08 13:15:40

标签: sql-server stored-procedures triggers

在我的应用程序的SQL Server后端中,我想为一堆密钥表创建历史记录表,这些表将跟踪行更改的历史记录。

我的整个应用程序使用存储过程,没有嵌入式SQL。 与数据库修改这些表的唯一连接是通过应用程序和SP接口。 传统上,我曾与之合作的商店使用触发器执行此任务。

如果我可以在存储过程和触发器之间进行选择,哪个更好? 哪个更快?

11 个答案:

答案 0 :(得分:40)

触发器。

我们编写了一个GUI(内部称为 Red Matrix Reloaded ),以便轻松创建/管理审计日志记录触发器。

这是使用的东西的一些DDL:


AuditLog表

CREATE TABLE [AuditLog] (
    [AuditLogID] [int] IDENTITY (1, 1) NOT NULL ,
    [ChangeDate] [datetime] NOT NULL CONSTRAINT [DF_AuditLog_ChangeDate] DEFAULT (getdate()),
    [RowGUID] [uniqueidentifier] NOT NULL ,
    [ChangeType] [varchar] (50) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
    [TableName] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
    [FieldName] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
    [OldValue] [varchar] (8000) COLLATE SQL_Latin1_General_CP1_CI_AS NULL ,
    [NewValue] [varchar] (8000) COLLATE SQL_Latin1_General_CP1_CI_AS NULL ,
    [Username] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
    [Hostname] [varchar] (50) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
    [AppName] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NULL ,
    [UserGUID] [uniqueidentifier] NULL ,
    [TagGUID] [uniqueidentifier] NULL ,
    [Tag] [varchar] (8000) COLLATE SQL_Latin1_General_CP1_CI_AS NULL 
)

触发记录插入

CREATE TRIGGER LogInsert_Nodes ON dbo.Nodes
FOR INSERT
AS

/* Load the saved context info UserGUID */
DECLARE @SavedUserGUID uniqueidentifier

SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID

DECLARE @NullGUID uniqueidentifier
SELECT @NullGUID = '{00000000-0000-0000-0000-000000000000}'

IF @SavedUserGUID = @NullGUID
BEGIN
    SET @SavedUserGUID = NULL
END

    /*We dont' log individual field changes Old/New because the row is new.
    So we only have one record - INSERTED*/

    INSERT INTO AuditLog(
            ChangeDate, RowGUID, ChangeType, 
            Username, HostName, AppName,
            UserGUID, 
            TableName, FieldName, 
            TagGUID, Tag, 
            OldValue, NewValue)

    SELECT
        getdate(), --ChangeDate
        i.NodeGUID, --RowGUID
        'INSERTED', --ChangeType
        USER_NAME(), HOST_NAME(), APP_NAME(), 
        @SavedUserGUID, --UserGUID
        'Nodes', --TableName
        '', --FieldName
        i.ParentNodeGUID, --TagGUID
        i.Caption, --Tag
        null, --OldValue
        null --NewValue
    FROM Inserted i

触发记录更新

CREATE TRIGGER LogUpdate_Nodes ON dbo.Nodes
FOR UPDATE AS

/* Load the saved context info UserGUID */
DECLARE @SavedUserGUID uniqueidentifier

SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID

DECLARE @NullGUID uniqueidentifier
SELECT @NullGUID = '{00000000-0000-0000-0000-000000000000}'

IF @SavedUserGUID = @NullGUID
BEGIN
    SET @SavedUserGUID = NULL
END

    /* ParentNodeGUID uniqueidentifier */
    IF UPDATE (ParentNodeGUID)
    BEGIN
        INSERT INTO AuditLog(
            ChangeDate, RowGUID, ChangeType, 
            Username, HostName, AppName,
            UserGUID, 
            TableName, FieldName, 
            TagGUID, Tag, 
            OldValue, NewValue)
        SELECT 
            getdate(), --ChangeDate
            i.NodeGUID, --RowGUID
            'UPDATED', --ChangeType
            USER_NAME(), HOST_NAME(), APP_NAME(), 
            @SavedUserGUID, --UserGUID
            'Nodes', --TableName
            'ParentNodeGUID', --FieldName
            i.ParentNodeGUID, --TagGUID
            i.Caption, --Tag
            d.ParentNodeGUID, --OldValue
            i.ParentNodeGUID --NewValue
        FROM Inserted i
            INNER JOIN Deleted d
            ON i.NodeGUID = d.NodeGUID
        WHERE (d.ParentNodeGUID IS NULL AND i.ParentNodeGUID IS NOT NULL)
        OR (d.ParentNodeGUID IS NOT NULL AND i.ParentNodeGUID IS NULL)
        OR (d.ParentNodeGUID <> i.ParentNodeGUID)
    END

    /* Caption varchar(255) */
    IF UPDATE (Caption)
    BEGIN
        INSERT INTO AuditLog(
            ChangeDate, RowGUID, ChangeType, 
            Username, HostName, AppName,
            UserGUID, 
            TableName, FieldName, 
            TagGUID, Tag, 
            OldValue, NewValue)
        SELECT 
            getdate(), --ChangeDate
            i.NodeGUID, --RowGUID
            'UPDATED', --ChangeType
            USER_NAME(), HOST_NAME(), APP_NAME(), 
            @SavedUserGUID, --UserGUID
            'Nodes', --TableName
            'Caption', --FieldName
            i.ParentNodeGUID, --TagGUID
            i.Caption, --Tag
            d.Caption, --OldValue
            i.Caption --NewValue
        FROM Inserted i
            INNER JOIN Deleted d
            ON i.NodeGUID = d.NodeGUID
        WHERE (d.Caption IS NULL AND i.Caption IS NOT NULL)
        OR (d.Caption IS NOT NULL AND i.Caption IS NULL)
        OR (d.Caption <> i.Caption)
    END

...

/* ImageGUID uniqueidentifier */
IF UPDATE (ImageGUID)
BEGIN
    INSERT INTO AuditLog(
        ChangeDate, RowGUID, ChangeType, 
        Username, HostName, AppName,
        UserGUID, 
        TableName, FieldName, 
        TagGUID, Tag, 
        OldValue, NewValue)
    SELECT 
        getdate(), --ChangeDate
        i.NodeGUID, --RowGUID
        'UPDATED', --ChangeType
        USER_NAME(), HOST_NAME(), APP_NAME(), 
        @SavedUserGUID, --UserGUID
        'Nodes', --TableName
        'ImageGUID', --FieldName
        i.ParentNodeGUID, --TagGUID
        i.Caption, --Tag
        (SELECT Caption FROM Nodes WHERE NodeGUID = d.ImageGUID), --OldValue
        (SELECT Caption FROM Nodes WHERE NodeGUID = i.ImageGUID) --New Value
    FROM Inserted i
        INNER JOIN Deleted d
        ON i.NodeGUID = d.NodeGUID
    WHERE (d.ImageGUID IS NULL AND i.ImageGUID IS NOT NULL)
    OR (d.ImageGUID IS NOT NULL AND i.ImageGUID IS NULL)
    OR (d.ImageGUID <> i.ImageGUID)
END

触发记录删除

CREATE TRIGGER LogDelete_Nodes ON dbo.Nodes
FOR DELETE
AS

/* Load the saved context info UserGUID */
DECLARE @SavedUserGUID uniqueidentifier

SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID

DECLARE @NullGUID uniqueidentifier
SELECT @NullGUID = '{00000000-0000-0000-0000-000000000000}'

IF @SavedUserGUID = @NullGUID
BEGIN
    SET @SavedUserGUID = NULL
END

    /*We dont' log individual field changes Old/New because the row is new.
    So we only have one record - DELETED*/

    INSERT INTO AuditLog(
            ChangeDate, RowGUID, ChangeType, 
            Username, HostName, AppName,
            UserGUID, 
            TableName, FieldName, 
            TagGUID, Tag, 
            OldValue,NewValue)

    SELECT
        getdate(), --ChangeDate
        d.NodeGUID, --RowGUID
        'DELETED', --ChangeType
        USER_NAME(), HOST_NAME(), APP_NAME(), 
        @SavedUserGUID, --UserGUID
        'Nodes', --TableName
        '', --FieldName
        d.ParentNodeGUID, --TagGUID
        d.Caption, --Tag
        null, --OldValue
        null --NewValue
    FROM Deleted d

为了知道软件中的哪个用户进行了更新,每个连接都通过调用存储过程“将自己记录到SQL Server上”:

CREATE PROCEDURE dbo.SaveContextUserGUID @UserGUID uniqueidentifier AS

/* Saves the given UserGUID as the session's "Context Information" */
IF @UserGUID IS NULL
BEGIN
    PRINT 'Emptying CONTEXT_INFO because of null @UserGUID'
    DECLARE @BinVar varbinary(128)
    SET @BinVar = CAST( REPLICATE( 0x00, 128 ) AS varbinary(128) )
    SET CONTEXT_INFO @BinVar
    RETURN 0
END

DECLARE @UserGUIDBinary binary(16) --a guid is 16 bytes
SELECT @UserGUIDBinary = CAST(@UserGUID as binary(16))
SET CONTEXT_INFO @UserGUIDBinary


/* To load the guid back 
DECLARE @SavedUserGUID uniqueidentifier

SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID

select @SavedUserGUID AS UserGUID
*/

备注

  • Stackoverflow代码格式删除大多数空行 - 因此格式化很糟糕
  • 我们使用的是用户表,而不是集成安全性
  • 此代码是为了方便而提供的 - 不允许批评我们的设计选择。纯粹主义者可能会坚持认为所有的日志记录代码都应该在业务层完成 - 他们可以来这里为我们编写/维护它。
  • blob无法使用SQL Server中的触发器进行记录(没有“之前”版本的blob - 只有什么是)。 Text和nText是blob - 它使得笔记不可记录,或者使它们成为varchar(2000)的。
  • 标记列用作标识行的任意文本(例如,如果客户被删除,标记将在审核日志表中显示“通用汽车北美”。
  • TagGUID用于指向行的“父级”。例如,记录 InvoiceLineItems 指向 InvoiceHeader 。这样,搜索与特定发票相关的审核日志条目的任何人都将在审核跟踪中通过行项目的TagGUID找到已删除的“行项目”。
  • 有时将“OldValue”和“NewValue”值写为子选择 - 以获得有意义的字符串。即“。

    OldValue:{233d-ad34234 ..} NewValue:{883-sdf34 ...}

在审计跟踪中的用处不如:

OldValue: Daimler Chrysler
NewValue: Cerberus Capital Management

最后的注释:随意不做我们的工作。这对我们来说很好,但是其他人都可以不使用它。

答案 1 :(得分:17)

在SQL Server 2008中,一项名为CDC(更改数据捕获)CDC on MSDN的新功能可以提供帮助。 CDC能够将表数据的更改记录到另一个表中而无需编写触发器或其他一些机制,更改数据捕获将记录插入,更新和删除等更改记录到SQL Server中的表中,从而使更改的详细信息可用于关联格式。

Channel9 video

答案 2 :(得分:15)

我们有一个第三方工具ApexSQL Audit,我们用它来生成触发器。

以下是触发器在后台的外观以及数据的存储方式。希望人们会发现这对于逆向工程过程非常有用。 它与Ian Boyd在他的例子中显示的有点不同,因为它允许每个列分别进行审计。

表1 - 保存交易详情(人员,时间,申请,主机名等)

CREATE TABLE [dbo].[AUDIT_LOG_TRANSACTIONS](
    [AUDIT_LOG_TRANSACTION_ID] [int] IDENTITY(1,1) NOT NULL,
    [DATABASE] [nvarchar](128) NOT NULL,
    [TABLE_NAME] [nvarchar](261) NOT NULL,
    [TABLE_SCHEMA] [nvarchar](261) NOT NULL,
    [AUDIT_ACTION_ID] [tinyint] NOT NULL,
    [HOST_NAME] [varchar](128) NOT NULL,
    [APP_NAME] [varchar](128) NOT NULL,
    [MODIFIED_BY] [varchar](128) NOT NULL,
    [MODIFIED_DATE] [datetime] NOT NULL,
    [AFFECTED_ROWS] [int] NOT NULL,
    [SYSOBJ_ID]  AS (object_id([TABLE_NAME])),
  PRIMARY KEY CLUSTERED 
  (
       [AUDIT_LOG_TRANSACTION_ID] ASC
  )
)

表2 - 保留值之前/之后。

CREATE TABLE [dbo].[AUDIT_LOG_DATA](
   [AUDIT_LOG_DATA_ID] [int] IDENTITY(1,1) NOT NULL,
   [AUDIT_LOG_TRANSACTION_ID] [int] NOT NULL,
   [PRIMARY_KEY_DATA] [nvarchar](1500) NOT NULL,
   [COL_NAME] [nvarchar](128) NOT NULL,
   [OLD_VALUE_LONG] [ntext] NULL,
   [NEW_VALUE_LONG] [ntext] NULL,
   [NEW_VALUE_BLOB] [image] NULL,
   [NEW_VALUE]  AS (isnull(CONVERT([varchar](8000),      [NEW_VALUE_LONG],0),CONVERT([varchar](8000),CONVERT([varbinary](8000),substring([NEW_VALUE_BLOB],(1),(8000)),0),0))),
   [OLD_VALUE]  AS (CONVERT([varchar](8000),[OLD_VALUE_LONG],0)),
   [PRIMARY_KEY]  AS ([PRIMARY_KEY_DATA]),
   [DATA_TYPE] [char](1) NOT NULL,
   [KEY1] [nvarchar](500) NULL,
   [KEY2] [nvarchar](500) NULL,
   [KEY3] [nvarchar](500) NULL,
   [KEY4] [nvarchar](500) NULL,
PRIMARY KEY CLUSTERED 
 (
    [AUDIT_LOG_DATA_ID] ASC
)
)

插入触发器

我没有显示更新触发器,因为它们很长并且具有与此相同的逻辑。

CREATE TRIGGER [dbo].[tr_i_AUDIT_Audited_Table]
ON [dbo].[Audited_Table]
FOR INSERT
NOT FOR REPLICATION
As
BEGIN
DECLARE 
    @IDENTITY_SAVE              varchar(50),
    @AUDIT_LOG_TRANSACTION_ID       Int,
    @PRIM_KEY               nvarchar(4000),
    @ROWS_COUNT             int

SET NOCOUNT ON
Select @ROWS_COUNT=count(*) from inserted
Set @IDENTITY_SAVE = CAST(IsNull(@@IDENTITY,1) AS varchar(50))

INSERT
INTO dbo.AUDIT_LOG_TRANSACTIONS
(
    TABLE_NAME,
    TABLE_SCHEMA,
    AUDIT_ACTION_ID,
    HOST_NAME,
    APP_NAME,
    MODIFIED_BY,
    MODIFIED_DATE,
    AFFECTED_ROWS,
    [DATABASE]
)
values(
    'Audited_Table',
    'dbo',
    2,  --  ACTION ID For INSERT
    CASE 
      WHEN LEN(HOST_NAME()) < 1 THEN ' '
      ELSE HOST_NAME()
    END,
    CASE 
      WHEN LEN(APP_NAME()) < 1 THEN ' '
      ELSE APP_NAME()
    END,
    SUSER_SNAME(),
    GETDATE(),
    @ROWS_COUNT,
    'Database_Name'
)

Set @AUDIT_LOG_TRANSACTION_ID = SCOPE_IDENTITY()    

--This INSERT INTO code is repeated for each columns that is audited. 
--Below are examples for only two columns
INSERT INTO dbo.AUDIT_LOG_DATA
(
    AUDIT_LOG_TRANSACTION_ID,
    PRIMARY_KEY_DATA,
    COL_NAME,
    NEW_VALUE_LONG,
    DATA_TYPE
    , KEY1
)
SELECT
    @AUDIT_LOG_TRANSACTION_ID,
    convert(nvarchar(1500), IsNull('[PK_Column]='+CONVERT(nvarchar(4000), NEW.[PK_Column], 0), '[PK_Column] Is Null')),
    'Column1',
    CONVERT(nvarchar(4000), NEW.[Column1], 0),
    'A'
    , CONVERT(nvarchar(500), CONVERT(nvarchar(4000), NEW.[PK_Column], 0))
FROM inserted NEW
WHERE NEW.[Column1] Is Not Null

 --value is inserted for each column that is selected for auditin
INSERT INTO dbo.AUDIT_LOG_DATA
(
    AUDIT_LOG_TRANSACTION_ID,
    PRIMARY_KEY_DATA,
    COL_NAME,
    NEW_VALUE_LONG,
    DATA_TYPE
    , KEY1
)
SELECT
    @AUDIT_LOG_TRANSACTION_ID,
    convert(nvarchar(1500), IsNull('[PK_Column]='+CONVERT(nvarchar(4000), NEW.[PK_Column], 0), '[PK_Column] Is Null')),
    'Column2',
    CONVERT(nvarchar(4000), NEW.[Column2], 0),
    'A'
    , CONVERT(nvarchar(500), CONVERT(nvarchar(4000), NEW.[PK_Column], 0))
    FROM inserted NEW
    WHERE NEW.[Column2] Is Not Null
End

免责声明:我不是以任何方式与Apex有任何关系,但我在我目前的工作中使用他们的工具。

答案 3 :(得分:4)

正如其他人所说,触发器。它们更容易进行单元测试,对于高级用户更具弹性,可以直接访问表格进行随机查询。

至于更快?确定数据库中的快速内容是大量变量的难题。除了“尝试两种方式并进行比较”之外,你不会得到一个有用的答案,哪种方法更快。变量包括所涉及的表的大小,正常的更新模式,服务器中磁盘的速度,内存量,用于缓存的内存量等。此列表是无穷无尽的,每个变量都会影响触发器比SP内的自定义SQL更快。

好。快速。廉价。选择两个。触发器在完整性方面是好的,并且在维护方面可能很便宜。可以说他们也很快,一旦他们工作,你就完成了他们。 SP是一个维护问题,推动维护可以很快,但永远不会好或便宜。

祝你好运。

答案 4 :(得分:3)

推荐的方法取决于您的要求。如果历史记录表用于审计跟踪,则需要捕获每个操作。如果历史记录表仅用于性能原因,那么计划的SQL代理数据传输作业就足够了。

要捕获每个操作,请使用AFTER TRIGGER或更改数据捕获。

触发后,您可以在触发器内部使用两个临时表:

    INSERT或UPDATE后
  • INSERTED
  • DELETE 后
  • DELETED

您可以从这些临时表中对历史记录表执行插入操作,并且历史记录表将始终是最新的。您可能希望在历史记录表中添加版本编号,时间戳或两者,以将更改分隔到单个源行。

更改数据捕获(CDC)旨在创建增量表,您可以将其用作将数据加载到数据仓库(或历史记录表)中的源。与触发器不同,CDC是异步的,您可以使用任何方法和计划来填充目标(sprocs,SSIS)。

您可以使用CDC访问原始数据和更改。 Change Tracking(CT)仅检测已更改的行。可以使用CDC构建完整的审计跟踪,但不能使用CT构建。 CDC and CT仅在MSSQL 2008 Enterprise和Developer Edition中提供。

答案 5 :(得分:2)

使用触发器。这意味着任何更改(无论来源如何)都将反映在历史记录表中。它对安全性有好处,对失败模式有弹性,比如人们忘记添加代码来更新历史表等等。

对于这种类型的操作,可能没有任何特定的速度差异,因为执行时间将由I / O控制。

答案 6 :(得分:2)

要非常小心的一个问题是确定此表的预期用例,并确保为此目的正确构建它。

具体来说,如果它是针对利益相关者的运营审计跟踪,则与表中记录更改的前后快照完全不同。 (事实上​​,除了调试之外,我很难想象记录变化的好用。)

审计跟踪通常至少需要用户ID,时间戳和操作代码 - 可能还有一些有关操作的详细信息。示例 - 更改采购订单上的项次料品的订购数量。

对于这种类型的审计线索,您想要使用触发器。你嵌入这些事件的过程中BR层越高越好。

OTOH,对于记录级别的更改,触发器是正确的匹配。但是从dbms日记文件中获取它通常也更容易。

答案 7 :(得分:1)

我更喜欢为审计表使用触发器,因为触发器可以捕获所有更新,插入和删除,而不仅仅是通过某些存储过程调用的更新,插入和删除:

CREATE TRIGGER [dbo].[tr_Employee_rev]
ON [dbo].[Employee]
AFTER UPDATE, INSERT, DELETE
AS
BEGIN
    IF EXISTS(SELECT * FROM INSERTED) AND EXISTS (SELECT * FROM DELETED)
    BEGIN
        INSERT INTO [EmployeeRev](EmployeeID,Firstname,Initial,Surname,Birthdate,operation, updated, updatedby) SELECT inserted.ID, inserted.Firstname,inserted.Initial,inserted.Surname,inserted.Birthdate,'u', GetDate(), SYSTEM_USER FROM INSERTED
    END 

    IF EXISTS (SELECT * FROM INSERTED) AND NOT EXISTS(SELECT * FROM DELETED)
    BEGIN
        INSERT INTO [EmployeeRev](EmployeeID,Firstname,Initial,Surname,Birthdate,operation, updated, updatedby) SELECT inserted.ID, inserted.Firstname,inserted.Initial,inserted.Surname,inserted.Birthdate,'i', GetDate(), SYSTEM_USER FROM INSERTED
    END

    IF EXISTS(SELECT * FROM DELETED) AND NOT EXISTS(SELECT * FROM INSERTED)
    BEGIN
        INSERT INTO [EmployeeRev](EmployeeID,Firstname,Initial,Surname,Birthdate,operation, updated, updatedby) SELECT deleted.ID, deleted.Firstname,deleted.Initial,deleted.Surname,deleted.Birthdate,'d', GetDate(), SYSTEM_USER FROM DELETED 
    END
END

我使用SQLServer为修订表生成SQL而不是手动编码。此代码可在https://github.com/newdigate/sqlserver-revision-tables

上找到

答案 8 :(得分:0)

触发器。现在您可能会说数据更新的唯一方法是通过您的SP,但事情可能会发生变化,或者您可能需要进行批量插入/更新,使用SP会过于繁琐。使用触发器。

答案 9 :(得分:0)

这取决于应用程序的性质和表结构,索引数量,数据大小等,外键等。如果这些是相对简单的表(没有或很少的索引,如datetime / integer列上的索引)有限的数据集(<1百万行),您可能可以使用触发器。

请记住,触发器可能是锁定问题的根源。我假设如果您使用历史表作为一种审计跟踪,您将索引它们以供将来参考。如果触发器更新由于索引而导致插入/更新/删除缓慢的历史记录表,则过程调用将阻塞,直到触发器完成。此外,如果有任何外键约束将在触发器中更新,这也可能妨碍性能。

在这种情况下,它全部取决于表索引。我们将Sql Server 2000用于每天处理超过10万次金融交易的24/7应用程序。最大/主表有超过1亿行和15个索引(如果需要正常运行时间,则无法合理地删除质量)。尽管所有SQL都是在存储过程中完成的,但由于性能受到影响,我们不使用触发器或外键。

答案 10 :(得分:0)

触发器。这是我的方法:

  1. 为每个需要审核试用的关键表创建一个审核表
  2. 审计表将包括源表+列审计记录信息中的所有列,例如who,when和action
  3. 仅触发UPDATE和DELETE,INSERT操作将在源表本身中拥有原始记录
  4. 在更新或删除之前,将原始记录+审核信息复制到审核表
  5. (可选 - 仅限UPDATE :)要知道哪个列已更新,请使用SQL函数中内置的UPDATE(ColumnName)或COLUMNS_UPDATED()来确定受影响的列
  6. 以这种方式进行审计可以将当前状态保存在源表中,并将所有历史记录保存在审计表中,并通过键列轻松识别。