火花流可视化

时间:2015-05-15 09:38:16

标签: apache-spark streaming visualization

我正在使用spark stream来传输来自kafka经纪商的数据。我正在使用spark streaming对数据进行转换。有人可以建议一个可视化工具,我可以使用它来显示实时图形和图表,这些图形和图表会作为数据流更新吗?

5 个答案:

答案 0 :(得分:0)

您已使用Websockets构建实时流图。 因此,没有BI工具,但有JS库可以帮助构建实时图表 - http://www.pubnub.com/blog/tag/d3-js/

答案 1 :(得分:0)

您可以将结果存储在ElasticSearch中,然后使用Kibana执行可视化。

答案 2 :(得分:0)

查看Lightning:数据可视化服务器
http://lightning-viz.org/
服务器旨在使用D3进行基于Web的交互式可视化。它专为大型数据集和不断更新的数据流而设计。

答案 3 :(得分:0)

除了查看spark自己的流式UI选项卡外,我强烈建议使用graphite sinks。 Spark流是一个长期运行的应用程序,因此为了监控目的,这可以非常方便。

立即使用石墨仪表板,您将开始监控您的火花流应用程序。

我所知道的最好的文献是here部分监控。和[这里](https://www.inovex.de/blog/247-spark-streaming-on-yarn-in-production/

它提供配置和其他详细信息。您可以在某些或其他github链接上找到一些以json格式现成的仪表板,但我再次发现这两个帖子在我的生产应用程序中最有用。

我希望这有助于您在火花流应用程序中可视化和监控应用程序内部。

答案 4 :(得分:0)

您可以使用Pro BI工具,例如Tableau,Power BI甚至是MS Excel。为了进行测试,我使用具有1分钟自动刷新功能的MS Excel。

您也可以为此编写python代码。