从我的本地Windows机器到cloudera集群的火花

Question

我正在运行cloudera CDH群集，但我想从我的Windows机器提交作业。

我已经完成了从群集到Windows机器的所有配置文件复制，并安装了spark的本地副本（spark下载页面中的spark-1.6.0-bin-hadoop2.6.tgz文件）。我能用纱线运行简单的wordcount应用程序，但是当我试图连接到hive metastore时，它显示了很多错误（我已经将hive-site.xml复制到spark / conf中）

1）来自火花下载的预建火花分布是否没有蜂巢支持

2）如果没有，那么我必须手动建造它？ （我没有地方可以下载这个必需的预制火花）

请帮忙（坚持2周）

提前致谢

Answer 1

使用hivecontext访问配置单元

@transient private var instance: HiveContext = _
def getHiveContext(sparkContext: SparkContext): HiveContext = {
    synchronized {
      if (instance == null) {

        println("creating hive context")
        System.setProperty("hive.metastore.uris","thrift://server-ip:9083")
        instance = new HiveContext(sparkContext)

      }
      instance
    }