Question

此问题可能与this one重复，但给出的答案并不令人满意。

我在Zeppelin上运行了以下简单代码： （与pyspark CLI相同的场景）

%spark2.pyspark
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)

df = sqlContext.read.format("csv").option("header", "false").option("mode", "DROPMALFORMED").load("/data/data1.csv")
df.write.mode('overwrite').saveAsTable("default.hive_spark");

然后：

%spark2.pyspark
sqlDF = spark.sql("show tables")
sqlDF.show()

显示：

+--------+----------------+-----------+
|database|       tableName|isTemporary|
+--------+----------------+-----------+
| default|      hive_spark|      false|
+--------+----------------+-----------+

但是当我登录到HIVE CLI（用户：蜂巢）时，此表未显示：

0: jdbc:hive2://ip-xxx.eu-west-3.com>USE default;
0: jdbc:hive2://ip-xxx.eu-west-3.com>SHOW TABLES;

+-----------+
| tab_name  |
+-----------+
| hive_test |
+-----------+

我尝试了

sqlContext.uncacheTable("default.hive_spark")

我很困惑。

Answer 1

由于您正在使用hive2，因此请使用HiveWareHouseConnector

SPARK中提供了HIVE表，但未在Hive CLI中显示

1 个答案: