Question

我正在尝试从源代码构建Datastax Spark-Cassandra Connector 2.0，用于Scala 2.11。计划在Spark 2.0中使用它。克隆了这个仓库（主人）：https://github.com/datastax/spark-cassandra-connector

使用此命令：

sbt -Dscala-2.11=true package

我得到的错误与一些未找到的罐子有关（为什么没找到？有异国情调？）：

[错误] 13未找到[错误]
  /Users/dochnev/.m2/repository/com/googlecode/json-simple/json-simple/1.1/json-simple-1.1.jar   [错误]
  /Users/dochnev/.m2/repository/com/typesafe/config/1.2.1/config-1.2.1.jar   [错误]
  /Users/dochnev/.m2/repository/com/yammer/metrics/metrics-core/2.2.0/metrics-core-2.2.0.jar   [错误]
  /Users/dochnev/.m2/repository/commons-net/commons-net/3.1/commons-net-3.1.jar   [错误]
  /Users/dochnev/.m2/repository/junit/junit/4.8.1/junit-4.8.1.jar   [错误]
  /Users/dochnev/.m2/repository/org/apache/curator/curator-client/2.4.0/curator-client-2.4.0.jar   [错误]
  /Users/dochnev/.m2/repository/org/apache/curator/curator-framework/2.4.0/curator-framework-2.4.0.jar   [错误]
  /Users/dochnev/.m2/repository/org/apache/hadoop/hadoop-yarn-server-nodemanager/2.2.0/hadoop-yarn-server-nodemanager-2.2.0.jar   [错误]
  /Users/dochnev/.m2/repository/org/apache/zookeeper/zookeeper/3.4.6/zookeeper-3.4.6.jar   [错误]
  /Users/dochnev/.m2/repository/org/codehaus/janino/commons-compiler/2.7.8/commons-compiler-2.7.8.jar   [错误]
  /Users/dochnev/.m2/repository/org/hibernate/hibernate-validator/4.3.0.Final/hibernate-validator-4.3.0.Final.jar   [错误]
  /Users/dochnev/.m2/repository/org/jboss/logging/jboss-logging/3.1.0.CR2/jboss-logging-3.1.0.CR2.jar   [错误]
  /Users/dochnev/.m2/repository/org/yaml/snakeyaml/1.12/snakeyaml-1.12.jar

是否可以修复它并为Scala 2.11构建Spark-Cassandra Connector 2.0？

Answer 1

删除了〜/ .m2 / repository /，构建成功完成。

Answer 2

如果您的唯一目标是使用spark-cassandra-connector，为什么还要从源头构建它？为什么不将--packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.11用于Spark 2.0.0 / Scala 2.11并忘记构建问题？

由于一些丢失的罐子，它在一段时间内没有为我构建，我将其报告给https://datastax-oss.atlassian.net/projects/SPARKC/summary并在Gitter与开发人员交谈。在我的情况下，解决方案是清理~/.ivy2 repo关于失败的依赖关系，它工作正常（我只删除了失败依赖的目录而不是整个repo。）

我正在使用以下命令构建连接器：

sbt -Dscala-2.11=true assembly

我每天早上都这样做，大约需要2分钟。

Answer 3

- 包datastax：spark-cassandra-connector：2.0.0-M2-s_2.11就像魅力一样。但是， - package datastax：spark-cassandra-connector：2.0.0-M3-s_2.11仍会引发无法解析的异常。

为什么不能从Scala 2.11的源代码构建Datastax Spark Cassandra Connector 2.0？

3 个答案: