如何从RDD(Array [String])创建RDD(子数组[String])?

时间:2015-12-25 22:33:10

标签: scala apache-spark rdd

我最初的RDD; Array [Array [String]]类似于:

    a b h c ....... d e x q
    d r d x ....... e q g m
    f e u t ....... q t g y
    a b h c ....... d e x q
    d r d x ....... e q g m
    f e u t ....... q t g y
    ....
    ....

新RDD; Array [Array [String]],包含:

u t ...... q t
h c ...... d e

有关如何使用它的任何想法?数组的大小很大,因此可能需要任何大小的子数组。 提前谢谢。

1 个答案:

答案 0 :(得分:1)

看起来你需要的只是drop*

rdd.map(_.drop(2).dropRight(2))

如果您有疑问,检查Scala collections docs通常很有用。