Question

我刚刚注册了一个免费的实例＆＃34; Analitycs for Apache Spark＆＃34;并遵循此tutorial使用spark submit ibm ad hoc设计的脚本从bluemix云集群上的本地计算机运行应用程序。问题如下：我已经在教程中描述并且发布了这个脚本

./spark-submit.sh --vcap ./vcap.json --deploy-mode cluster --master
 https://spark.eu-gb.bluemix.net --files /home/vito/vinorosso2.csv
 --conf spark.service.spark_version=2.2.0 
/home/vito/workspace_2/sbt-esempi/target/scala-2.11/isolationF3.jar 
--class  progettoSisDis.MasterNode

一切正常（数据集vinorosso2.csv和我的fatJar被正确上传），直到终端sais：＆＃34;提交完成＆＃34;此时，当我转到脚本创建的日志文件时，出现此错误消息：

提交作业结果：HTTP请求中的计划和火花版本组合无效（ibm.SparkService.PayGoPersonal，2.0.0）

提交ID：   错误：提交工作有问题。退出

所以，为apachecs注册一个免费的Anirtcs实例以提交一个火花工作是不够的？希望有人能提供帮助。顺便说一句，如果它有帮助，在我的本地机器上我使用带有intellij idea（scala）的spark。 Byyye

Answer 1

从https://console.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic2.html#using_spark-submit开始，您需要使用Spark版本1.6.x或2.0.x.您的提交作业设置为2.2.0版。尝试使用spark.service.spark_version=2.0.0提交（假设您的代码适用于此版本的Spark）。

在ibm bluemix上提交spark-submit

1 个答案: