在scala中将[Row]列表到RDD [CassandrRow]转换

时间:2018-04-30 10:01:24

标签: scala apache-spark rdd cassandra-3.0 spark-cassandra-connector

我跟随代码: -

 val result = session.execute("Select * from table where imei= '" + imei + "'")
 val list = result.all()
 val sCollection = list.asScala
 val rdd = sc.parallelize(Seq(sCollection))

我试图创建列表[Row]到RDD [CassandraRow],我发现我们需要在制作RDD之前将此列表转换为scala集合,但是当我试图运行它时给出错误:

value asScala is not a member of java.util.List[com.datastax.driver.core.Row]

我哪里出错了,怎么办才能解决这个问题?

谢谢,

1 个答案:

答案 0 :(得分:1)

您在开始时错过了import scala.collection.JavaConverters._。但是,我不推荐您编写的解决方案,因为它不具备可扩展性。

Spark-Cassandra连接器,可以以分布式(可扩展)方式将数据加载到Spark中。