数据湖中的交易数据

Question

我们有多个发送数据的源系统。理想情况下，我们应该捕获来自源的原始数据并将其保存在数据湖中。然后，我们必须将原始数据处理为结构化格式。现在，用户可以通过前端应用程序更新此数据。

我正在考虑将rdbms放在已处理的数据之上，然后将审核跟踪从rdbms拖到数据湖，并合并已处理的数据和审核跟踪以创建用于报告的最终视图。或者rdbms也可以用于分析。

或者我们可以将所有原始数据导入rdbms中，然后运行rdbms中的更改，然后将数据从rdbms中提取到数据湖中。但是引入数据湖并没有多大意义。

请提出建议。

谢谢

Answer 1

ADLA不是面向消费者的，这意味着您不会将前端系统与其连接。 如果问题是“我们应该做什么”，我不确定有人可以为您回答这个问题，但这听起来像您在正确的道路上。

我能做的就是告诉你我们要做的事情：

1. 原始数据（CSV或TXT文件）进入Blob存储
2. U-SQL脚本提取该数据并将其存储在Data Lake Analytics中 表。 [此时可以删除斑点]。
3. 我们根据需要将处理后的数据输出到RDBMS等“可消耗”源。那里 有几种方法可以执行此操作，但是当前我们将输出到管道分隔的文本文件到Blob存储中，并使用Polybase导入到SQL Server。 YMMV。

首先将数据拖入Data Lake，然后将RDBMS拉入数据对我来说很有意义。