Spark.sql和sqlContext.sql

时间:2017-03-15 19:56:10

标签: pyspark apache-spark-sql spark-dataframe

我已导入以下模块。我试图从sqlCtx.read.format加载数据,我得到" IllegalArgumentException:u"实例化' org.apache.spark.sql.hive.HiveSessionState'时出错: "" 错误,但是当我使用spark.read.format时效果很好。当我从已注册的temptable / view中检索数据时,我看到了相同的行为。我可以添加什么来使用sqlCtx.sql而不是spark.sql?

<div class="form-group">
   @Html.LabelFor(m => m.GroupId, new { @class = "col-md-2 control-label" })
   <div class="col-md-7">
      @Html.TextBoxFor(m => m.GroupId, new { @class = "form-control" })
   </div>
</div>

1 个答案:

答案 0 :(得分:3)

我在这一个生命中度过了两个小时,只是为了意识到我不需要:

“sqlCtx = SQLContext(sc)”

只使用SQLContext.read。(...),在我的案例中解决了这个问题。