如何用Scala计算Spark中2 RDD的相关矩阵

Question

我有2个RDD如下：

col1：3,4,3,2,3,5,7,6,5

col2：1,0,0,1,1,1,0,1,0

数据类型也是Int。

我需要计算相关矩阵，让我知道如何使用SparkRDD

提前谢谢你：）

Answer 1

我认为它会解决你的问题

import org.apache.spark.mllib.stat.Statistics
Statistics.corr(col1)
Statistics.corr(col2)

Answer 2

以下是一个简单示例，您可以找到计算相关性here

的详细信息

if let images = dict.value(forKey: "images") as? NSArray {
    if (images.firstObject != nil) {
        imageUrl = (images.firstObject as! NSDictionary).value(forKeyPath: "url.https") as! String
    }
}

myImage?.sd_setImage(with: URL(string: imageUrl)) 

希望这有帮助！