SSIS中的源文件验证

Question

我需要根据以下数据质量指标验证源输入文件

1. The record Count of the Source File must be greater than 0
2.columns "id" and "AsofDate", should not contain any null values.
3. The “AsOfDate” column Value must be equal to the Reporting Date (Input Parameter to Job).
4. Based on the above Indicators, log these information in either some text file or database table.

Am附加示例源输入文件

Answer 1

一个简单的解决方案是使用Data Flow Task并在解决方案中添加变量：RowCount

在数据流任务中，您可以使用以下项目：

1. 平面文件来源
2. 行计数器
3. 派生专栏
4. 条件分割
5. 目的地

Flat File Source

创建典型的平面文件数据源

Row Counter

添加计数器并将计数器的变量设置为等于行计数变量。

Derived Column

我宁愿在派生列中执行表达式逻辑

• 新专栏1：如果RowCount＆gt; 0返回true否则为false
• 新列2：如果ID为null或AsOfDate为null，则返回false else true
• 新专栏3：如果AsOfDate = InputDate则返回true，否则返回false

Conditional Split

由于您的新列是布尔值，您应该可以执行以下操作：

输出1：
Column1 && Column2 && Column3

Destination

将输出1从条件分割连接到您选择的目的地。