Question

我正在使用Ubuntu，我正在尝试使用Cassandra连接spark我使用了以下步骤。

git clone https://github.com/datastax/spark-cassandra-connector.git
cd spark-cassandra-connector
./sbt/sbt assembly
./spark-shell --jars ~/spark/jars/spark-cassandra-connector-assembly-1.4.0-SNAPSHOT.jar

在此之后我尝试了这个

Scala> sc.stop
Scala> import com.datastax.spark.connector._
Scala> org.apache.spark.SparkContext
Scala> import org.apache.spark.SparkContext._
Scala import org.apache.spark.SparkConf
Scala> val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost")
Scala> val sc = new SparkContext(conf)
Scala> val test_spark_rdd = sc.cassandraTable("keyspace", "table")

我正在使用spark 2.2.1而我的Cassandra是apache-cassandra-2.2.12

当我输入此命令时

Scala> val test_spark_rdd = sc.cassandraTable("keyspace", "table")

它给了我这个错误。

错误：加载类文件'CassandraConnector.class'时检测到缺失或无效的依赖项。无法访问类型登录包org apache spark，因为它（或其依赖项）缺失。检查您的构建定义缺少或冲突的依赖项。（使用Ylog类路径重新运行以查看有问题的类路径。）如果针对org apache spark的不兼容版本编译'CassandraConnector类'，则完全重建可能会有所帮助。

我找到不同的教程，但我无法解决我的问题，有人会给我建议。谢谢

Answer 1

不要下载jar文件并尝试使用它们。而只是将火花壳指向maven依赖。

./bin/spark-shell --packages "com.datastax.spark:spark-cassandra-connector:2.0.7"

现在，spark shell将自动从maven central

下载正确的jar文件

如何将火花与卡桑德拉联系起来

1 个答案: