如何将Option [RDD]转换为RDD

时间:2017-07-28 19:05:52

标签: scala apache-spark hashmap rdd

我使用以下某个键将RDD存储到可变Hashmap中。

var datasets = new HashMap[String, RDD[T]]()
val feedRdd: RDD[T] = ...
datasets.put("someKey", feedRdd)

现在我正在尝试从Hashmap获取相同的rdd并返回Option [RDD [T]],如下所示

val feedRddNew = datasets.get("someKey")

它给出了类似的错误。

  

类型选项[RDD [T]]的表达式未确认预期类型   RDD [T]

基本上我想将rdd存储到Hashmap中,以便我可以根据需要从Hashmap中获取它。有什么想法吗?如果出现问题或任何其他方式,请告诉我。 谢谢!

1 个答案:

答案 0 :(得分:1)

val feedRddNew = datasets.get("someKey")

此getter返回Option [T],其中T是存储在地图中的类型。

所以,要么是无,要么是某些(T)

所以你可以做到

val theActualValue = feedRddNew.get

或者,你可以使用

datasets("someKey")

它不返回一个选项(如果找不到键,它就会抛出)