无法在scala代码中使用collectAsMap()

时间:2016-05-30 16:09:25

标签: scala apache-spark

 val titleMap = movies.map(line => line.split("\\|")).take(2)

//converting movie-id and movie name as map(key-pair)

val title1 = titleMap.map(array=>(array(0).toInt,array(1)))
val titles = movies.map(line => line.split("\\|").take(2)).map(array
=> (array(0).toInt,
    array(1))).collectAsMap()

这里的“title1”错误,我无法在这里应用collectAsMap函数,同样的事情我可以应用于“标题”

1 个答案:

答案 0 :(得分:1)

title1的类型不是RDD,因此它没有方法collectAsMap()

titles的类型为RDD,因此它的方法为collectAsMap()

建议阅读类型https://en.wikipedia.org/wiki/Type_safetyhttps://en.wikipedia.org/wiki/Type_system