如何每天验证表

Question

我目前每天都在将数据导入表中。我如何向自己保证，除了周六和周日之外，每天都会导入所有数据？我是否需要创建一个单独的日历表并将其与该表进行比较？似乎每年都要更新日历。

仅供参考， 我正在使用pentaho数据集成将数据导入到我的表中。我当时在想应该对案件进行某种类型的查询吗？如果日期不在表格中，则使用该变量向自己发送电子邮件？

请注意，我缺少10/30和10/31 ..除非我进行查询并按日期分组以查看丢失的未导入日期，否则我永远不会知道。

当前表：

DATE    FIRST_NAME    LAST_NAME     AGE
10/28    Chris        Perez          30
10/29    Manuel       Gonzalez       31
11/1     John        Johnson         34
11/2     Chris         Archie        24

谢谢。

Answer 1

如果您使用的是PDI，则可以在执行执行表导入的KTR之前使用过滤器。

类似的事情应该做。

您只需要在过滤器中更改START WITH的文本即可匹配您的语言

IE .：星期六-星期六和星期日-星期日

Answer 2

要回答第一个问题，这取决于您如何实施解决方案。如果您正在执行完全截断加载，则可以更方便地将源文件行验证为数据表行。保持历史记录计数无关紧要，因为源系统将添加/删除行并将其与以前的日期进行比较帮不上忙。

对于问题的下一部分，如果您依赖此表，请在一天结束时进行评估检查，如果数据不等于营业日期，请发送电子邮件。可能是您需要重新访问错误处理，记录和通知作为您的etl的一部分，以使其更具交互性。