将文字转换为RDD以用于后续的笛卡尔积

Question

无法在文档中找到以下结果：

 val DIM_Key_Max = rddA.map(x => (x._1)).max 

随后可以转换为单个条目RDD，用于与RDD或者更确切地说是笛卡尔积的联合。

我无处可见。谁可以帮忙？

Answer 1

max返回单个对象。要将其转换为单个条目RDD，请使用parallelize：

sc.parallelize(List(DIM_Key_Max))

这将返回一个RDD，其中包含一个可以使用的条目，例如作为cartesian的论据。

Answer 2

你在这里弄错了。 max不会重新启动可以与另一个RDD连接的RDD。

val rdd=sc.parallelize(Array((1,2),(3,4),(5,6))).map(x=>x._1).max
rdd
rdd: Int = 5
rdd.getClass
res2: Class[Int] = int