应用洞察力 - >出口 - > Power BI数据仓库架构

时间:2016-04-07 12:02:21

标签: analytics data-warehouse powerbi azure-application-insights star-schema

我们的团队最近刚开始使用Application Insights将遥测数据添加到我们的Windows桌面应用程序中。这些数据几乎完全以事件的形式发送(而不是页面浏览等)。 Application Insights仅在某一点上有用;回答除了基本问题以外的任何问题,我们将导出到Azure存储,然后使用Power BI。

我的问题是数据结构之一。我们是一般的分析新手,刚刚阅读了数据仓库的星/雪花结构。这看起来可能有助于提供我们需要的答案。

我的问题很简单:这是正确的做法吗?我们复杂的事情吗?我目前的感觉是,更好的方法是提取最新数据并将其转换为事实和维度的SQL数据库,以供Power BI查询。这有意义吗?这是其他人在做什么的吗?我们已经意识到这比我们最初的想法更多。

4 个答案:

答案 0 :(得分:2)

绝对追求Michael Milirud的回答,如果你的源产品有合适的分析,你可能不需要数据仓库。

传统上,数据仓库有三个优点 - 整合来自内部和外部的不同数据源的信息;数据在各个来源中得到清理和标准化,随着时间的推移,变化的历史可确保数据在其历史背景下可用。

您所描述的内容正在成为数据仓库中非常常见的情况,其中创建星型模式以供PowerBI,Qlik或Tableau等工具访问。在较小的场景中,整个仓库可能保存在PowerBI数据引擎中,但较大的数据可能需要通过查询。

在您的方案中,您可能对某些似乎至少处理Application Insights数据迁移的工具感兴趣:

https://sesitai.codeplex.com/

https://github.com/Azure/azure-content/blob/master/articles/application-insights/app-insights-code-sample-export-telemetry-sql-database.md

我们的产品Ajilius可自动开发星型模式数据仓库,将开发时间缩短至数天或数周。还有许多其他产品在做同样的工作,我们会保留一份完整的行业清单competitors,以帮助您选择。

答案 1 :(得分:2)

我将继续使用Power BI--它实际上内置了一个非常复杂和强大的数据集成和建模引擎。从历史上我一直使用SQL Server Integration Services和Analysis Services来完成这些任务 - Power BI Desktop优越多方面。设计方法保持一致 - 星型模式等,但您可以在PBI内部构建它们。它更灵活,更灵活。

您是否也知道AI可以直接连接到PBI Web?这可以在几分钟内连接到您的AI数据,并为您提供可随时使用的PBI内容(仪表板,报告,数据集)。您可以自定义这些内容并从数据集构建新报告。

https://powerbi.microsoft.com/en-us/documentation/powerbi-content-pack-application-insights/

答案 2 :(得分:2)

我们最终做的不是将我们的WinForms应用程序中的事件直接发送到AI,而是发送到Azure EventHub

然后我们创建了一个从eventhub读取并将数据发送到

的作业
  1. AI使用SDK
  2. Blob存储以供稍后处理
  3. Azure表存储以创建powerbi报告
  4. 您当然可以添加更多目的地。

    所以基本上所有事件都发送到一个目的地,并从那里存储在许多目的地,每个目的地都是出于自己的目的。我们绝对不希望被限制为7天的原始数据,因为存储很便宜,blob存储可以用在Azure和Microsoft的许多分析解决方案中。

    eventhub也可以链接到流分析。

    有关eventhub的更多信息,请访问https://azure.microsoft.com/en-us/documentation/articles/event-hubs-csharp-ephcs-getstarted/

答案 3 :(得分:0)

您可以开始使用最近发布的Application Insights Analytics功能。在Application Insights中,我们现在允许您编写任何您想要的查询,以便您可以从数据中获得更多的洞察力。 Analytics会在几秒钟内运行您的查询,允许您按任何可能的属性过滤/加入/分组,您也可以从Power BI运行这些查询。 有关详细信息,请访问https://azure.microsoft.com/en-us/documentation/articles/app-insights-analytics/