Java Spark:无法从配置单元中新添加的列中获取数据

时间:2018-07-04 11:24:37

标签: apache-spark hive apache-spark-sql

我在Parquet Partitioned Hive表中添加了新的双列。将一些数据插入新分区。当我从Hive CLI查询新分区中的数据时,我正在新列中获取数据,但是当我尝试从Spark1.6查询表时,新列中的数据为空。

DataFrame df = hiveContext.table("tablename")
        .filter("dateCond").select("col1","col2","new_col");

更改配置单元表后,我运行了msck repair table <tablename>

请您对此进行说明。

0 个答案:

没有答案