提交Spark作业未加载spark-cloudant：2.0.0-s_2_11包

Question

我使用以下命令提交Spark，

  

./ spark-submit --packages cloudant-labs：spark-cloudant：2.0.0-s_2.11   --class spark.cloudant.connecter.cloudantconnecter --master local [*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

但似乎＆＃34; spark-cloudant＆＃34;包装没有加载.. 可能因为位于Spark Packages存储库（https://dl.bintray.com/spark-packages/maven/）

的工件而未加载

那么在命令加载包时需要进行哪些更改？

此包的详细信息显示在此处 https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-s_2.11

Answer 1

似乎需要在使用Spark-submit命令

加载包时添加存储库

  

- 存储库网址

所以新命令将是，

  

./ spark-submit --packages cloudant-labs：spark-cloudant：2.0.0-s_2.11    - 知识库https://dl.bintray.com/spark-packages/maven/ --class spark.cloudant.connecter.cloudantconnecter --master local [*]   /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar