从hiveserver2(JDBC)远程集群读取spark

时间:2019-03-17 03:10:16

标签: apache-spark jdbc hive apache-spark-2.0

我有从不同群集读取Hive源表的要求-我正在尝试研究如何实现此目标?我打算将HiveServer2(JDBC)连接用作选项。有人可以向我介绍一些示例代码或一些参考URL。

我尝试使用“ hive-jdbc.jar”,在下面的代码段中,它打印了printsSchema,但是与Show()方法一起使用时会失败。

 val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:hive2://34.223.237.55:10000")
  .option("dbtable", "students1")
  .option("user", "hduser")
  .option("password", "hadoop")
  .option("fetchsize", "20")
  .load()

注意:Hive已被kerberized

感谢您提供任何帮助。

谢谢

引用问题:

enter image description here

0 个答案:

没有答案