什么是Facebook的HiPal数据分析工具,它是如何工作的?

时间:2012-06-20 06:43:26

标签: hadoop hive

Facebook的HiPal数据分析工具的所有知识管理功能是什么?它是如何工作的?它是纯粹的hadoop环境架构还是可以与其他DB一起使用?

2 个答案:

答案 0 :(得分:2)

虽然这只是猜测因为HiPal尚未向公众发布。

HiPal是一个名为HIVE的类似SQL的程序的UI。 Hive是一个程序,允许您对Hadoop文件系统中的文件运行类似SQL的查询。 Hadoop是一种用于大型(许多兆兆字节)数据集的分布式map / reduce架构。

但由于它不是开源的,我们无法掌握它。但这不会用于其他数据库系统。

http://www.facebook.com/note.php?note_id=89508453919

答案 1 :(得分:0)

Facebook使用Hive(http://borthakur.com/ftp/hadoopworld.pdf)来处理数据。 Hive是一个类似SQL的框架接口,运行在Hadoop之上,由Facebook团队自己创建,后者捐赠给apache社区。

他们说他们用Hive / Hadoop分析了20 PB的数据。

以下是快速入门指南: https://cwiki.apache.org/confluence/display/Hive/GettingStarted