Spark-Cassandra专家:在Datastax安装中,Apache Spark 1.4是否可以与Apache Cassandra 3.0一起使用?我们正在考虑将DSE 4.8(Spark 1.4和Cassandra 2.1)迁移到DSE 5.0(Spark 1.6和Cassandra 3.0)的几种选择。一种选择是将Cassandra群集更新为DSE 5.0,而将Spark群集保留在DSE 4.8上。这意味着我们必须使Apache Spark 1.4与Apache Cassandra 3.0一起使用。我们使用https://github.com/datastax/spark-cassandra-connector版本1.4(DSE 4.8)和1.6(DSE 5.0)。有人尝试过将Spark 1.4(DSE 4.8)与Cassandra 3.0(DSE 5.0)一起使用吗?
答案 0 :(得分:0)
从Maven Central中可以看到,Spark Cassandra Connector 1.4.5确实使用了Java驱动程序的2.1.7版本。根据{{3}},驱动程序2.1.x不能与Cassandra 3.0一起使用...您当然可以对其进行测试,但我怀疑它是否可以工作-驱动程序通常是向后兼容的,但不向前兼容。
我建议先迁移到DSE 5.0,然后迁移到5.1的速度要足够快,因为5.0可能很快就会停产。
P.S。如果您还有其他问题,建议您加入DataStax Academy Slack-那里有一个单独的有关spark cassandra连接器的渠道。