Executor无法在Spark独立集群中选择postgres驱动程序

Question

我正在提交播放应用程序以激活2.1独立群集。在Play应用程序中，还添加了postgres依赖项，并且应用程序可以在本地spark库上运行。但是在独立群集上运行时，它给了我错误：

o.a.s.s.TaskSetManager - Lost task 0.0 in stage 0.0 (TID 1, 172.31.21.3, executor 1): java.lang.ClassNotFoundException: org.postgresql.Driver 

我在spark-defaults.conf目录中放置了以下内容

spark.executor.extraClassPath   /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar 
spark.driver.extraClassPath     /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar 

仍然执行人无法选择驱动程序。 我错过了什么吗？需要帮忙 。 谢谢。

Answer 1

将postgresql-9.4-1200-jdbc41.jar放入SPARK_DIRECTORY / jars文件夹并重新启动spark群集