使用针对远程群集的Hive查询的Spark-SQL命令行

时间:2016-03-27 05:31:41

标签: apache-spark hive

我正在尝试在命令行中针对远程spark群集运行Spark-SQL(配置单元查询)。但是我得到了"表没找到"连接到Spark master之后。

我正在尝试$SPARK_HOME/bin

./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \
    /../calliope-hive_2.10-1.1.0-CTP-U2.jar  --master spark://<<master_url>>:7277 \
    --executor-memory 1000M --total-executor-cores 2 " select count(*) *****"

这就是我得到的

  

查询错误:找不到表:

请帮忙

1 个答案:

答案 0 :(得分:0)

该表是否存在于Hive中。?如果是,请确保您提供蜂巢配置以激发火花。 Spark应该了解Hive元存储的详细信息,以获取表的元数据..

请参阅以下链接了解集成。 http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables

如果已经照顾好了,请告诉我。如果这样做,一定有其他问题。