我正在尝试对连接到Cassandra并执行select语句的方法进行单元测试。然后将返回的CassandraTableScanJavaRDD转换为数据框,并进行进一步处理。
对于我的单元测试,我不希望使用嵌入式cassandra。我正在尝试使用Mockito模拟CassandraTableScanJavaRDD。但是我无法在其中放入一些虚拟数据。 如何创建CassandraTableScanJavaRDD实例并在其中存储一些数据,而无需实际连接到cassandra。
答案 0 :(得分:0)
您可以尝试使用Spark Cassandra Connector Embedded-在许多测试用例中,它都应该起作用,我认为仅对于Spark Streaming作业,它可能需要真正的Cassandra。
设置取决于您的软件包管理器-例如,对于SBT,它将是:
"com.datastax.spark" %% "spark-cassandra-connector-embedded" % {version}
最新版本是2.4.0,但是您可能需要使用其他版本,具体取决于您所使用的Spark版本...