当使用1个数据帧的hivecontext和另一个使用sqlcontext时,比较spark中的2个数据帧

时间:2017-11-19 11:10:38

标签: apache-spark apache-spark-sql spark-dataframe hivecontext

当我使用HiveContext和另一个数据帧中的DB2表将hive表存储在一个数据帧中时,使用sqlcontext查询这两个数据帧,它在检测到hive时没有检测到Db2。什么是常用的sqlcontext可以使用?

1 个答案:

答案 0 :(得分:0)

TL; DR 对所有表使用相同的上下文。

如果您需要Hive支持,请使用HiveContextSparkSession并获得Hive支持。请勿创建单独的会话以连接到特定的DataSource