无法使用Spark-Submi从Hive中找到表

时间:2018-09-10 07:32:18

标签: apache-spark apache-spark-sql

这是我的简单代码。

spark.sql("select * from default.some_table")

在齐柏林飞艇或spark-shell中使用此代码时,它可以完美运行。

但是,尝试使用 spark-submit 命令

发生以下错误

diagnostics: User class threw exception: org.apache.spark.sql.AnalysisException: Table or view not found:: `default`.`some_table`; line 1 pos 14;

有什么帮助吗?

这是我的spark提交命令

spark-submit --class com.any.any.App  --master yarn --deploy-mode cluster app.jar

感谢

1 个答案:

答案 0 :(得分:0)


解决了!!创建SparkSession时需要设置 hive.metastore.warehouse.dir

saveToPhotoAlbum