使用Spark-SQL运行HiveQL:如何在每个工作节点上生成Hive程序集jar

时间:2015-09-12 18:57:17

标签: apache-spark hive apache-spark-sql

我正在尝试根据链接中的 Hive Tables 部分使用Spark-SQL运行HiveQL:https://spark.apache.org/docs/1.2.1/sql-programming-guide.html

在本节中,它表示在使用Hive选项构建Spark二进制文件后,

  

“此命令构建一个包含Hive的新程序集jar。请注意,此Hive程序集jar也必须存在于所有工作节点上,因为它们需要访问Hive序列化和反序列化库(SerDes)才能访问存储在Hive中的数据。“

我不太清楚在哪里可以找到这个Hive程序集jar,这个程序集jar的名称是什么,以及如何在所有工作节点上显示这个jar。

如果有人可以提供帮助或提供一些提示,请提前致谢。

0 个答案:

没有答案