BI架构建议

时间:2014-08-26 14:29:19

标签: mysql data-warehouse business-intelligence talend

我想就我们的BI架构提供一些建议,维护起来非常复杂。

我在一家电子购物公司工作,我们的产品在LAMP系统(Linux Apache MySQL PHP)上工作。

每晚:

  • 我们的prod DB(MySQL)中的数据用Talend提取,然后插入另一个名为DWH的MySQL数据库中用于数据仓库
  • 然后由Jedox / Palo提取来自此DWH的数据以加载OLAP多维数据集,这些多维数据集由Excel用于恢复原状的插件
  • 来自此DWH的数据也可通过Access / Excel一次性报告访问,但这不是很好用

每次我们需要修改现有工作流程或创建新报告时,都需要使用许多步骤和不同技术,这将使我们进入一个非常复杂的平台。

我可以做些什么来简化此过程?

2 个答案:

答案 0 :(得分:0)

您应该能够使用提供的Palo组件将Talend作为数据仓库加载过程的一部分加载Palo OLAP表,这样可以减少以与主ETL过程分开的方式执行ETL操作。

Roberto Machetto的博客有一些interesting tutorials关于如何做到这一点,我相信互联网上有更多的例子,当然你可以在这里询问你遇到的任何具体问题

将所有数据正确加载到数据仓库和任何OLAP多维数据集后,您的用户应能够在存储数据时运行任何定制或其他查询。如果您看到用户无法访问适当数据进行分析的实例,则应通过正确理解维度建模,在初始数据仓库/ OLAP多维数据集负载中解决该问题。

答案 1 :(得分:-1)

对于做什么或不做什么提出建议有点困难,这取决于你的最终目标或目标。我建议您在分发OLAP多维数据集之前将数据分成几个阶段。

例如,您可以在此DW数据库中创建事实和维度,这样您就可以将数据分成主题,这可以使您的报表构建更加容易,因为任何人都可以根据需要对这些数据进行分组。你可以有一个仅用于销售的事实表,另一个用于流失的事实表,另一个用于新客户的事实表,然后继续......

尝试查看事实和尺寸表,或者只是维度建模,它将使您的日常工作变得更加轻松。

一些链接:     http://en.wikipedia.org/wiki/Dimensional_modeling     http://www.learndatamodeling.com/ddm.php