如何在地图转换中使用Hivecontext

时间:2017-05-30 11:16:17

标签: apache-spark

我有一个用例,其中我从一个配置单元表创建一个数据帧。设计是这样的,对于蜂巢表的每一行,我需要联系另一个蜂巢表来检索更多的信息。

val flowDf = hiveContext.sql("select * from humsdb.t_flow_sample")   

var x = flowDf.map { row =>
    var configuration = hiveContext.sql("query")
   configuration.collect.foreach{println}
   ...
   ...
 }

当我尝试在地图进程中使用hivecontext时,我得到了一个nullpointerexception。我在stackoverflow中经历了几篇文章,并了解到无法在地图流程中使用hivecontext。因此,想要了解任何其他解决方法来访问地图中的hivecontext。

0 个答案:

没有答案