在scala spark中的Array或任何其他Collection中迭代RDD和Stored值

时间:2017-02-02 06:35:08

标签: arrays scala hadoop apache-spark rdd

我是scala的新手。我正在迭代RDD并将每个值存储在数组或任何其他集合中。但是值不存储在Array中。

val ItrRdd = sqlContext.sql("select district,state FROM world ").rdd
var ItrRdd_data = ItrRdd.map { x =>
       (x.getString(0), x.getString(1))
    }

var district = Array[String]()

ItrRdd_data.map{ x => 
      district.+:(x._1)
    }   

然后如果我打印分区,那么它将是空白的。 有人可以帮我做这个或类似上面的那个。

提前致谢。

1 个答案:

答案 0 :(得分:0)

使用以下内容来计算district

val district = ItrRdd_data.map({ case(x,y) => x -> y }).collect()