在Intellij中构建最新的Spark Snapshot会给出MesosSchedulerBackend编译错误

Question

我跑了

sbt gen-idea

然后我打开了新创建的IJ项目。语法高亮显示工作正常 - 一个好兆头。但是发生了一些错误：

C:\apps\incubator-spark\core\src\main\scala\org\apache\spark\executor\MesosExecutorBackend.scala
Error:(256, 35) type mismatch;
 found   : org.apache.mesos.protobuf.ByteString
 required: com.google.protobuf.ByteString
      .setData(ByteString.copyFrom(task.serializedTask))
                                  ^
Error:(119, 35) type mismatch;
 found   : org.apache.mesos.protobuf.ByteString
 required: com.google.protobuf.ByteString
      .setData(ByteString.copyFrom(createExecArg()))
                                  ^
C:\apps\incubator-spark\core\src\main\scala\org\apache\spark\scheduler\cluster\mesos\MesosSchedulerBackend.scala
Error:(44, 35) type mismatch;
 found   : org.apache.mesos.protobuf.ByteString
 required: com.google.protobuf.ByteString
      .setData(ByteString.copyFrom(data))
                                  ^

请注意，构建IS通过

在命令行上运行

sbt compile

任何建立Spark与Intellij的人都有任何建议吗？

Answer 1

spark邮件列表提供了答案/解决方法：应该从IJ手动删除mesos-1.8.jar。 mesos-1.8-shared.jar是正确的，应该保留。）