用于Spark 1.4和Cassandra 3.0的spark-cassandra-connector

时间:2018-11-07 12:43:08

标签: scala apache-spark cassandra cassandra-3.0

Spark-Cassandra专家:在Datastax安装中,Apache Spark 1.4是否可以与Apache Cassandra 3.0一起使用?我们正在考虑将DSE 4.8(Spark 1.4和Cassandra 2.1)迁移到DSE 5.0(Spark 1.6和Cassandra 3.0)的几种选择。一种选择是将Cassandra群集更新为DSE 5.0,而将Spark群集保留在DSE 4.8上。这意味着我们必须使Apache Spark 1.4与Apache Cassandra 3.0一起使用。我们使用https://github.com/datastax/spark-cassandra-connector版本1.4(DSE 4.8)和1.6(DSE 5.0)。有人尝试过将Spark 1.4(DSE 4.8)与Cassandra 3.0(DSE 5.0)一起使用吗?

1 个答案:

答案 0 :(得分:0)

从Maven Central中可以看到,Spark Cassandra Connector 1.4.5确实使用了Java驱动程序的2.1.7版本。根据{{​​3}},驱动程序2.1.x不能与Cassandra 3.0一起使用...您当然可以对其进行测试,但我怀疑它是否可以工作-驱动程序通常是向后兼容的,但不向前兼容。

我建议先迁移到DSE 5.0,然后迁移到5.1的速度要足够快,因为5.0可能很快就会停产。

P.S。如果您还有其他问题,建议您加入DataStax Academy Slack-那里有一个单独的有关spark cassandra连接器的渠道。