大数据的应用洞察

Question

我希望在我的Spark集群上使用jvm-profiler（https://github.com/uber-common/jvm-profiler），并将其与应用程序日志相关联。在大型群集（大约1000个执行程序）上，这将产生大量数据。我尝试将其转储到效果很好的influxDb中。但是，然后我必须管理influxDb。我的堆栈全部在Azure中，我们使用Application Insights。

应用程序见解可以解决这种负载，还是有更好的Azure替代方案。然后我的计划是使用Power BI围绕这些数据创建仪表板。

当前的替代方法是使用带有Chronograf的influxDb来可视化数据。

Answer 1

App Insights will ingest最多每秒32个事件。默认数据上限为每天100GB，但您可以自行将其提高到1,000 GB，也可以要求支持更高的上限。

Making use of sampling将减少总数量和您的帐单-您可以控制操作方式，因此仅在需要的地方采样数据。通常，累计指标是单独发送的，因此请求计数之类的内容不会受到抽样的影响。