Spark Shell和Spark数据框为镶木地板文件提供了不同的结果

时间:2019-03-08 10:10:04

标签: hive apache-spark-sql

我在hdfs位置/ data / published / r6 / omega中有数据,该数据充满了镶木地板文件, 在那儿有数据的列etl_cre_tmst。实木复合地板文件包含数据

 val loc = "/data/published/r6/omega"
 val df = sqlContext.read.parquet(loc)
 df.select("etl_cre_tmst").show(10,false)

 +---------------------+
 |etl_cre_tmst         |
 +---------------------+
 |2019-03-08 04:41:10.0|
 |2019-03-08 04:41:10.0|
 |2019-03-08 04:41:10.0|
 |2019-03-08 04:41:10.0|
 |2019-03-08 04:41:10.0|
 |2019-03-08 04:41:10.0|
 +---------------------+

但是当我尝试通过Hive表访问数据时,它仅显示null

 val df =  hc.sql("select etl_cre_tmst from db_r6.omega  ")
 df.show(10,false)

 +---------------------+
 |etl_cre_tmst         |
 +---------------------+
 |null|
 |null|
 |null|
 |null|
 |null|
 +---------------------

etl_cre_tmst的实木复合地板文件架构和数据类型与配置单元表架构和数据类型匹配。在木地板文件中和蜂巢表中,etl_cre_tmst的数据类型是时间戳

当我尝试通过spark-shell处理相同的数据时,为什么会得到空值。当我通过蜂巢壳访问相同的表时,它的工作原理。问题仅在于火花壳

有人可以帮忙吗?

0 个答案:

没有答案