根据文件,
“Apache Spark是一种快速通用的大规模数据处理引擎。”
“Shark是一个用于Hadoop数据的开源分布式SQL查询引擎。”
Shark使用Spark作为依赖。
我的问题是,如果我们使用Shark快速响应分析查询,Spark是否只是将HiveQL解析为Spark作业或做了什么?
答案 0 :(得分:3)
是的,Shark使用与Hive相同的想法,但将HiveQL转换为Spark作业而不是MapReduce作业。请阅读this文档的第13-14页,了解这两者之间的架构差异。