来自Hive的Spark SQL``显示从数据库扩展的表，例如表给出了不同的结果''

Question

spark.sql("SHOW TABLE EXTENDED IN DB LIKE 'TABLE'")

Beeline >>SHOW TABLE EXTENDED IN DB LIKE 'TABLE';

两个查询都有不同的结果。

如果我在Spark中运行相同的查询，则会得到与Hive不同的结果。 lastUpdatedTime中缺少格式和Spark SQL。

如果有人有主意，请让我知道如何从Spark SQL查看Hive表中的lastUpdatedTime

Answer 1

尝试一下-

scala> val df = spark.sql(s"describe extended ${db}.${table_name}").select("data_type").where("col_name == 'Table Properties'")
df: org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [data_type: string]

scala> df.map(r => r.getString(0).split(",")(1).trim).collect
res39: Array[String] = Array(last_modified_time=1539848078)

scala> df.map(r => r.getString(0).split(",")(1).trim.split("=")(1)).collect.mkString
res41: String = 1539848078