我可以完美地在独立模式下使用spark运行spark-sql，但是当涉及到yarn mode.spark告诉我它无法找到hive类（一些基本的类似org / apache / hadoop / hive / ql / plan / TableDesc）。
所以我将hive libs添加到compute-classpath.sh。失败。 然后我想如果纱不工作和独立工作正常。 也许我应该改变纱线类路径以包括hive lib。
然后我又失败了。我只是不明白hive libs出现在我的纱线启动日志和火花输出中，为什么我的hive sql告诉我没有找到基本的hive类？
感谢所有人帮助我
答案 0 :(得分：1)
试试这个，添加spark.executor.extraClassPath = / opt / cloudera / parcels / CDH / lib / hive / lib / *
答案 1 :(得分：0)
你很可能有类路径问题。请参阅本故障排除指南的“类路径问题”部分（http://www.datastax.com/dev/blog/common-spark-troubleshooting）。请注意设置--jars来电的spark-submit选项，并在创建SparkConfig时通过aditionnal jar。