使用Hadoop可视化大型数据集

时间:2012-10-15 15:35:56

标签: hadoop plot data-visualization bigdata

我正在寻找一个框架,框架,最佳实践或关于使用Hadoop可视化大型数据集的教程的组合。

正在寻找一个框架来可视化运行Hadoop作业或管理Hadoop上的磁盘空间的机制。我正在寻找一种方法或指南,用图形和图表等可视化HDFS中包含的数据。

例如,假设我有一组数据点存储在HDFS中的多个文件中,我想显示histogram数据。是我唯一的选择来编写自定义地图/减少作业,尝试找出哪些点属于哪个桶,将总数写入文件,然后使用绘图库来可视化?

我是否需要推出自定义解决方案,还是还有其他人在那里做这类事情?我尝试在线查看,但我找不到与此直接相关的内容。

感谢您的帮助

1 个答案:

答案 0 :(得分:1)

我们在Datameer做了类似的事情。这些文件需要更多的处理步骤来实现我们的可视化,但我们在Hadoop上本地运行,因此文件不会很远。