Question

在我的程序中，我需要MySQL和PostgreSQL连接器。我已经下载了两个连接器，我可以逐个运行它们;当我试图运行两个连接器时，我都失败了。

我只用这个命令运行MySQL连接器：

--jars

当我想将PostgreSQL连接器添加到我的类路径时，我使用./spark-submit --master local[8] --executor-memory 8G --class learner.run.package --driver-class-path --jars /home/postgresql-9.4.1208.jre6.jar /home/mysql-connector-java-5.1.37-bin.jar /home/merve/Desktop/v1/target/scala-2.10/project_2.10-1.0.jar选项重新排列了我的命令：

java.lang.ClassNotFoundException: learner.run.package

但它给了我这个错误：

SPARK_CLASSPATH= /home/mysql-connector-java-5.1.37-bin.jar

我还尝试通过将以下行添加到spark-env.sh来将这些连接符添加到spark类路径：

.setJars()

但它无法找到MySQL连接器。

最后我尝试了SearchActivity选项，但它也没有用。

如何使用这两个连接器运行spark-submit，或者如何将这些连接器添加到类路径？

Answer 1

一些问题：

--driver-class-path应使用标点符号（:）
--jars应以逗号（,）
两者都应单独传递（你不能--driver-class-path --jars some-path）。

spark-submit --driver-class-path some-path:another-path \
             --jars some-path,another-path
             ...

将MySQL和PostgreSQL连接器添加到Apache Spark环境中

1 个答案: