LongAdder与cassandra + spark连接器有什么关系?

时间:2018-08-23 16:40:09

标签: apache-spark cassandra spark-cassandra-connector databricks

当我使用databricks将数据加载到cassandra中时,出现了问题 引起原因:java.lang.NoClassDefFoundError:com / twitter / jsr166e / LongAdder

将其简单的saveToCassandra保存到表中。

我在maven中查看了这个twitter jsr166e罐子,它很旧,于2013年添加, 我不知道为什么Spark + cassandra_coonector

中不提供此jar

1 个答案:

答案 0 :(得分:1)

该错误表明您缺少依赖项和/或Spark Cassandra连接器不在Spark应用程序的运行时类路径上。不确定如何安装连接器,但应该使用packages方法来确保满足依赖性并正确配置连接器。

了解更多HERE

希望有帮助, 帕特