在spark-submit中,--packages选项的Spark环境java.io.FileNotFoundException

时间:2018-07-15 08:52:45

标签: apache-spark spark-submit

我正在使用spark 2.2,并且正在集群模式下运行它。 有1个主人和1个工人。

,并且我正在其他机器上尝试提交示例Spark应用程序,如下所示:   火花提交^   --class org.apache.spark.examples.SparkPi ^   --master spark://10.0.75.1:6066 ^   -部署模式群集^   -监督^   --executor-内存2G ^   --total-executor-cores 1 ^   --repositories http://repo1.maven.org/maven2/ ^   --packages org.apache.commons:commons-math3:3.6.1,com.datastax.spark:spark-cassandra-connector_2.11:2.0.0 ^   C:\ spark-2.2.0-bin-spark-bin-2.2.0-hadoop-2.7.2 \ examples \ jars \ spark-examples_2.11-2.2.0.jar ^   1000

在我从上面执行命令的客户端计算机中,它下载了jar,但是在我的计算机驱动程序正在启动中,我看到了这个特定错误。

13/07/13 17:13:29.643:[,] 2768 [main]错误org.apache.spark.SparkContext-无法添加文件:/ C:/Users/client_machine/.ivy2/jars/com。 datastax.spark_spark-cassandra-connector_2.11-2.0.0.jar到Spark环境 java.io.FileNotFoundException:找不到Jar C:\ Users \ client_machine.ivy2 \ jars \ com.datastax.spark_spark-cassandra-connector_2.11-2.0.0.jar

0 个答案:

没有答案