通过Pyspark从Hive读取数据

Question

我正在尝试通过Pyspark从Hive表中读取数据。我已经成功建立了Hive和spark之间的连接。我还能够看到数据库中存在的表，但是当我尝试查询该表时，出现此错误：

代码： spark.sql("select count(*) from my_table").show(truncate = False)

错误：

  

Py4JJavaError：调用o90.showString时发生错误

Answer 1

您可以使用SQLContext()尝试此解决方案：

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlC = SQLContext(sc)

sqlC.sql("select count(*) from my_table").show(truncate = False)

或尝试使用HiveContext()：

from pyspark import SparkContext
from pyspark.sql import HiveContext

sc = SparkContext()
hivctx = HiveContext(sc)

hivctx.sql("select count(*) from my_table").show(truncate = False)