如何从字符串列表创建DStream？

Question

我有一个字符串列表，但我无法找到一种方法将列表更改为火花流的DStream。 我试过这个：

val tmpList = List("hi", "hello")    
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))   
val rowRdd = rdd.map(v => Row(v: _*))

但eclipse说sparkContext不是sqlContext的成员，所以，我怎么能这样做？ 感谢您的帮助。

Answer 1

DStream是RDD的序列，它是在你收到一些像Kafka这样的流媒体来源时创建的。要测试是否要从RDD列表创建DStream，您可以按如下方式进行测试：

val rdd1 = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1))
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

希望它能回答你的问题。