应用程序见解日志分析

Question

我有Application Insights的事件日志，其中记录事件并将其存储为存储在blob存储中的文本文件中的json。我需要找到customProperty符合条件的那些jsons。命中jsons的数量非常少（大约10或20），但是记录的数据非常大。有任何建议如何有效地完成这项工作？

我在Microsoft文档中读到HDInsights了解blob存储并且效率很高。这在我的场景中是否相关？如果是这样，有人可以提供一些起点。

Answer 1

HDInsight是一个兼容Hadoop的实现，是一种很好的日志分析技术。 AppInsighs页面上的being stated也是关于遥测的。{3}}。 “在更大的范围内，考虑HDInsight - 云中的Hadoop集群.HDInsight提供了各种用于管理和分析大数据的技术。”

在同一页面上，您可能会找到有关将AppInsights遥测连续导出到Azure Blobs存储中的信息。

下一步可能是使用HDInsight进行分析，但需要你实现某种算法。

要从Azure Blob将数据上传到HDInsight，您可能会看到that link（和this进行查询）。

要了解日志处理管道（这是Hadoop / HDInsight的常见任务），可以使用一些演练和手册，例如this。但是您需要根据您的情况调整此算法。

Answer 2

对于Application Insights，还有另一种选择。已引入新的分析工具 Application Insights Analytics 。

• https://blogs.msdn.microsoft.com/bharry/2016/03/28/introducing-application-analytics

此工具还允许您使用特定语言处理所有记录的数据：

requests
| where timestamp >= ago(24h)
| summarize count() by client_CountryOrRegion
| order by count_ desc

您可以导出所需的数据。