Question

我正在使用下一个代码从scala创建一个hive表：

  val spark = SparkSession
    .builder()
    .appName("self service")
    .enableHiveSupport()
    .master("local")
    .getOrCreate()

  spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)")

必须成功创建表，因为如果我运行此代码两次，则会收到错误消息，表示该表已存在。

但是，当我尝试从GUI（HUE）访问此表时，我在Hive中看不到任何表，所以它似乎被保存在Hive中Hive使用的不同路径中这个信息。

您知道我应该怎么做才能看到我从HUE / Hive Web GUI的代码中创建的表格吗？

任何帮助将非常感谢。非常感谢你。

Answer 1

在我看来，你没有将hive-site.xml添加到正确的路径中。 Hive-site具有需要与Hive成功连接的属性，您应该将其添加到目录

SPARK_HOME / CONF /

您也可以使用spark.driver.extraClassPath添加此文件，并提供此文件所在的目录。例如在pyspark提交

/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \  
--executor-cores n myScript.py

使用Spark创建的Hive表在HUE / Hive GUI

1 个答案: