将蜂巢转换为火花

时间:2018-02-13 13:08:49

标签: hadoop apache-spark hive apache-spark-sql

我有一个项目,每天都有hive脚本来处理hadoop数据 我想改变蜂巢,以便每小时处理火花或进行实时处理 将hive脚本转换为spark的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

您几乎不需要进行转换。 Spark运行与Hive完全相同的sql语法。或者你可以make Hive run Spark executions

使用Oozie或cron来安排每小时的间隔。不要使用Spark Streaming这个