为了使用Spark的机器学习功能,我将训练数据转换为Spark矢量(DenseVector
或SparseVector
)。在将数据输入Spark的fit
函数之前,我必须对该数据进行一些算术运算(加法,乘以标量,点积)。
Spark自己的矢量类似乎没有提供任何算术函数。
Spark允许将自己的矢量转换为breeze (scala numerical processing library),它具有所有的铃声和口哨声,但它不允许将微风矢量转换为Spark矢量。
是否有使用Spark的向量进行算术运算的函数,或者是否有一种简单/有效的方法将breeze向量转换为Spark的向量?
更新
在org.apache.spark.util中还有一个矢量实现,它支持算术,但它似乎与我感兴趣的org.apache.spark.mllib.linalg中的实现完全断开。