数据仓库 - 构建ETL模板

时间:2014-03-19 16:17:26

标签: sql-server etl data-warehouse

我的公司正在努力建立一个庞大的企业数据仓库,我们公司决定聘请一家咨询公司来建立它。提出ETL模板需要多长时间?我们正在构建一个sql server 2012数据仓库。我们正处于获得项目计划的阶段,我们对数据仓库周期非常陌生。任何帮助将不胜感激。

2 个答案:

答案 0 :(得分:1)

您需要考虑以下几点:

  • 数据源数量
  • 数据源的复杂性
  • 数据质量
  • 需要错误处理和记录
  • 所需的效果级别

同样影响ETL模型的是数据仓库本身复杂性的要求,因为复杂的模型会使ETL的要求复杂化。

我也认为在设计ETL框架时提前做一些工作并尽量使其尽可能“动态”是值得的,因为你不希望自己处于这样的状态。在项目结束时对数百个ETL包/流程进行更改。

如果没有太多信息,我会说你会看两周之间(对于更简单的项目)和3个月(对于复杂的项目)。

答案 1 :(得分:1)

提出ETL模板的时间框架主要取决于建筑师的经验。但是,大概的时间范围应该是6个月到一年之间的任何时间,具体取决于数据的复杂程度。 DataStage和Ab Initio是可以在企业环境中实施的一些优秀的ETL技术。

咨询公司首先应该能够估算ETL系统在其使用寿命期内的可扩展性。他们必须能够理解您提到的SLA中必须处理的数据量。从任何地方提取数据的可用时间。一些ETL系统必须扩展以处理数TB的数据,以便用数十TB的数据更新数据仓库。数据量的增加可能需要可以从每日批量多天处理中扩展的设计。

我个人建议您询问咨询公司是否可以在尝试提出ETL解决方案时实施并行处理,因为它可以帮助您轻松适应未来的需求,同时加快ETL流程。

因此,在定义模板的时间框架中至关重要的因素将是 1.了解约束条件仓库表的参照完整性。 2.需要处理的数据量。 3. ETL过程将用于的各种目的。

您应该主要关注的另一个主要因素是花费足够的时间来分析需求,因为您可能不想经常回溯或改变您的解决方案。

祝你好运!