如何制作高级设计文档ETL

Question

如果有人可以在设计ETL时分享他们的经验，我将非常感激。

我正在尝试准备高级设计文档。这是我第一次构建ETL解决方案。

有些人请帮助我在设计时必须注意的事项。

平面文件每周都来自供应商，我们需要加载并生成报告。

非常感谢

Answer 1

据我所知，我推荐基于ETL方法的 ELT for Azure SQL数据仓库。

  

平面文件每周都来自供应商，我们需要加载并生成报告。

此ELT过程定期执行，例如每小时，每天或每周，以将新生成的数据导入数据仓库。

您可以参考以下基本步骤：

1. 将源数据提取为文本文件。
2. 将数据放入Azure Blob存储或Azure Data Lake Store。
3. 准备要加载的数据。
4. 使用 PolyBase 将数据加载到SQL数据仓库登台表中。
5. 转换数据。
6. 将数据插入生产表。

PolyBase是一种通过T-SQL语言访问数据库外部数据的技术。这是将数据加载到SQL数据仓库的最佳方法。

有关详细信息，请参阅此article。