使用Spark查询位于远程集群上的Hive数据

Question

我正在尝试编写一个简单的Scala代码来查询位于远程群集上的Hive数据。我的代码将部署到clusterA，但必须查询位于clusterB上的Hive表。我正在我的本地Eclipse中开发它并收到以下错误

org.apache.spark.sql.AnalysisException: Table not found: `<mydatabase>`.`<mytable>`;

我的代码的相关部分位于

之下

    val conf = new SparkConf().setAppName("Xing")
    .setMaster("local[*]")
    conf.set("hive.metastore.uris","thrift://<clusterB url>:10000")
    val sc = SparkContext.getOrCreate(conf)
    val hc = new HiveContext(sc)
    val df = hc.sql("select * from <mydatabase>.<mytable>")

我怀疑这是配置问题，但我可能错了。任何建议将不胜感激。

Answer 1

除非您故意更改，否则Metastore URL中的端口应为9083。 10000适用于hiveserver2。