我正在创建hive上下文并查询hive表,如下所示, 使用yarn-cluster
创建spark上下文HiveContext hv = new HiveContext(sc)
hv.sql("use schema")
val df = hv.sql(query)
但是它返回一个空数据帧。
但是,如果我直接在hive环境中运行查询,则返回有效值。可能是什么问题
答案 0 :(得分:0)
通常,spark中的数据帧可以被视为检索/计算数据的映射,在需要数据之前不会实现。 要获取数据,可以使用df.collect()