另一种方式 - 通过Spark而不是JDBC

时间:2016-11-07 08:21:06

标签: java hadoop jdbc apache-spark hive

在上周,我有一个任务:连接到我的远程Hive服务器。在过去的7天里,我尝试了很多方法:

  1. beeline (本地,在服务器中)连接到hiveserver,确定!
  2. 连接到 spark-shell 中的hiveserver(本地,在服务器中) - 使用HiveContext,确定!
  3. 连接到 jdbc客户端 中的hiveserver(远程,在客户端)确定!
  4. 是的,我想说所有这些工作都很顺利(谢谢大家stackoverflow之前问过同样的问题:))但我真的想改变一种方法来使用{{1}连接Hive在我的客户端......它失败了,太多例外了。所以我来这里寻求帮助:

    • 我们可以在客户端使用 hiveContext 连接到配置单元(这意味着hivecontext在服务器而不是客户端)?
    • 有人能告诉我一个简单的例子吗?

    PS:以下是我的命令:

      
        
    1. $ HADOOP_HOME / sbin / start-all.sh - work!
    2.   
    3. $ HIVE_HOME / bin / hive --service metabore work!
    4.   
    5. $ HIVE_HOME / bin / hiveserver开始工作! - 可以连接到hive使用beeline
    6.   
    7. $ SPARK_HOME / sbin目录/启动master.h
    8.   
    9. $ SPARK_HOME / bin / spark-class org.apache.spark.deploy.worker.Worker spark:// master:7077
    10.   
    11. 开始在我的Eclipse(客户端)编码,SparkConf - > SparkContext - > HiveContext(例外!)。
    12.   

    如果你帮助我,我将不胜感激:)

0 个答案:

没有答案