我正在使用spark stream来传输来自kafka经纪商的数据。我正在使用spark streaming对数据进行转换。有人可以建议一个可视化工具,我可以使用它来显示实时图形和图表,这些图形和图表会作为数据流更新吗?
答案 0 :(得分:0)
您已使用Websockets构建实时流图。 因此,没有BI工具,但有JS库可以帮助构建实时图表 - http://www.pubnub.com/blog/tag/d3-js/
答案 1 :(得分:0)
您可以将结果存储在ElasticSearch中,然后使用Kibana执行可视化。
答案 2 :(得分:0)
查看Lightning:数据可视化服务器
http://lightning-viz.org/
服务器旨在使用D3进行基于Web的交互式可视化。它专为大型数据集和不断更新的数据流而设计。
答案 3 :(得分:0)
除了查看spark自己的流式UI选项卡外,我强烈建议使用graphite sinks。 Spark流是一个长期运行的应用程序,因此为了监控目的,这可以非常方便。
立即使用石墨仪表板,您将开始监控您的火花流应用程序。
我所知道的最好的文献是here部分监控。和[这里](https://www.inovex.de/blog/247-spark-streaming-on-yarn-in-production/)
它提供配置和其他详细信息。您可以在某些或其他github链接上找到一些以json格式现成的仪表板,但我再次发现这两个帖子在我的生产应用程序中最有用。
我希望这有助于您在火花流应用程序中可视化和监控应用程序内部。
答案 4 :(得分:0)
您可以使用Pro BI工具,例如Tableau,Power BI甚至是MS Excel。为了进行测试,我使用具有1分钟自动刷新功能的MS Excel。
您也可以为此编写python代码。