您如何实施数据质量＆amp;数据仓库中的验证规则？

Question

我正在开发一个数据仓库，成为我公司企业应用程序套件的一部分。所以我一直在学习DW概念，但规则引擎似乎很难，我找不到很多关于各种实现方法的信息。规则的重点是验证数据质量，并在达到某些业务指标时发出警报（例如，当月的销售额为$ xx.xx）

我们的应用程序需要为每个客户端进行自定义，因此我希望将规则设为通用。有哪些方法可以实现规则引擎？

1. 现成的工具？ （我将重新分发，因此通常不能正常工作）
2. 框架/ API的
3. 设计Paterns以创建我们自己的
4. 其他想法

感谢。

Answer 1

将这一点视为有几个独立的系统协同工作可能会有所帮助 - 而不是一个“大引擎”负责所有事情。

说到“业务指标”，请查看 KPIs （关键绩效指标）。分析引擎（MS-SSAS， Pentaho-Mondrian 等...）允许简单的KPI定义和演示（仪表板）。如果开发自己的，你仍然可以了解这个概念。

数据质量主要是“操作系统”的责任，即收集数据的地方。如果垃圾到达DW，那就太晚了。使用 data profiling tools 了解源数据的外观 - 必须在源头强制执行数据质量。

在DW加载过程中，您可以使用逐步ECCD（Extract，Clean，Conform，Deliver）方法来实现某些“数据标准”。 ETL工具（ MS-SSIS ， Pentaho-Kettle ， Oracle Data Itegrator 等等...旨在帮助有这个。

关于规则引擎，请查看 inrule ， ILOG ， Fico ， Corticon ， Jboss Drools 等。这些是“独立系统”，可用于在使用操作系统进行编排时强制执行业务规则。实施业务规则通常会提高数据质量。您可以下载Drools并快速开始修补，其他供应商也允许一些免费下载。