Azure流分析查询-进行合并

Question

美好的一天

我有一个应用程序，该应用程序通过Azure EventHub通过Azure SQL数据库中的Azure流分析传递数据。此数据来自每隔几分钟从Cost Recovery Software写入的文件，其中包含最新的完整帐户列表。

我想确保当文件中的所有数据通过此过程传递时，都会发生某种形式的MERGE，以仅更新现有帐户并插入不存在的帐户。为了确保不会创建重复的帐户。

我不确定Stream Analytics是否是将数据从EventHub馈送到SQL的最佳选择。

过程示例：

Answer 1

使用Azure流分析和SQL Azure DB，可以通过以下方式完成：

1. 将ASA数据输出到SQL到第一个表，这将是一个“登陆表”
2. Create a trigger用SQL进行从登录表到最终表的合并。

或者，如果将Cosmos DB用作输出，则Azure Stream Analytics本身支持upsert，因此可以直接从ASA完成。

让我们知道您是否还有其他问题和反馈。

谢谢

JS

Answer 2

根据您的描述，您仍然可以使用Azure数据工厂来实现您的实时要求。

1。创建Event Hub Trigger Azure Function。请参见此C# example。

2。在Azure数据工厂中创建管道。

3。在该管道中，创建Azure Function Activity以配置事件中心触发函数的url和参数。

4。在Azure Function Activity之后创建Copy Activity，以将源作为来自Azure Function Activity输出的数据。

5。将接收器作为SQL数据库并创建存储过程以进行upsert合并业务。请遵循此blog中的详细信息。