Apache Spark上的AMPLab Shark

时间:2014-02-27 17:55:22

标签: hadoop hive apache-spark shark-sql

根据文件,

“Apache Spark是一种快速通用的大规模数据处理引擎。”

“Shark是一个用于Hadoop数据的开源分布式SQL查询引擎。”

Shark使用Spark作为依赖。

我的问题是,如果我们使用Shark快速响应分析查询,Spark是否只是将HiveQL解析为Spark作业或做了什么?

1 个答案:

答案 0 :(得分:3)

是的,Shark使用与Hive相同的想法,但将HiveQL转换为Spark作业而不是MapReduce作业。请阅读this文档的第13-14页,了解这两者之间的架构差异。