为什么向Mesos提交Spark应用程序失败并显示“无法解析主URL：'mesos：// localhost：5050'”？

Question

当我尝试将Spark应用程序提交到Mesos集群时，我收到以下异常：

  

17/01/31 17:04:21 WARN NativeCodeLoader：无法为您的平台加载native-hadoop库...使用适用的builtin-java类   17/01/31 17:04:22错误SparkContext：初始化SparkContext时出错。   org.apache.spark.SparkException：无法解析主URL：'mesos：// localhost：5050'在org.apache.spark.SparkContext $ .org $ apache $ spark $ SparkContext $$ createTaskScheduler（SparkContext.scala：2550）在org.apache.spark.SparkContext。（SparkContext.scala：501）

Answer 1

您可能使用了错误的命令来构建Spark，例如，缺少-Pmesos。自Spark 2.1.0起，您应该使用./build/mvn -Pmesos -DskipTests clean package构建它。