Question

我在EMR中使用Hive Metastore 我可以通过HiveSQL或SparkSQL手动查询表但是当我在Spark Job中使用相同的表时，它表示 表或视图未找到

File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 69, in deco pyspark.sql.utils.AnalysisException: 
  u"Table or view not found: `logan_test`.`salary_csv`; line 1 pos 21;
'Aggregate [unresolvedalias(count(1), None)]
+- 'UnresolvedRelation `logan_test`.`salary_csv`

这是我的完整代码

from pyspark import SparkContext, HiveContext
from pyspark import SQLContext
from pyspark.sql import SparkSession

sc = SparkContext(appName = "test")
sqlContext = SQLContext(sparkContext=sc)
sqlContext.sql("select count(*) from logan_test.salary_csv").show()
print("done..")

我提交了我的工作如下，以使用配置单目录表。

spark-submit test.py --files /usr/lib/hive/conf/hive-site.xml

Answer 1

您导入了HiveContext，但初始化了不支持Hive查询的标准SQLContext。它应该是：

sqlContext = HiveContext(sparkContext=sc)

Answer 2

看起来您正在使用Spark 2，因此在SQLContext

之后，HiveContext和SparkSession.sql()应替换为enableHiveSupport()

而不是.sql()，您可以使用SparkSession.table()获取整个表的DataFrame，然后使用count()跟随它，然后使用您想要的任何其他查询。

from pyspark.sql import SparkSession

spark = SparkSession.builder.enableHiveSupport().appName("Hive Example").getOrCreate()
salary_csv = spark.table("logan_test.salary_csv")
print(salary_csv.count())

火花作业中不存在hive表

2 个答案: