使用Apache Spark的Vector进行算术运算

时间:2016-04-19 14:37:02

标签: apache-spark apache-spark-mllib apache-spark-ml

为了使用Spark的机器学习功能,我将训练数据转换为Spark矢量(DenseVectorSparseVector)。在将数据输入Spark的fit函数之前,我必须对该数据进行一些算术运算(加法,乘以标量,点积)。

Spark自己的矢量类似乎没有提供任何算术函数。

Spark允许将自己的矢量转换为breeze (scala numerical processing library),它具有所有的铃声和​​口哨声,但它不允许将微风矢量转换为Spark矢量。

是否有使用Spark的向量进行算术运算的函数,或者是否有一种简单/有效的方法将breeze向量转换为Spark的向量?


更新

在org.apache.spark.util中还有一个矢量实现,它支持算术,但它似乎与我感兴趣的org.apache.spark.mllib.linalg中的实现完全断开。

0 个答案:

没有答案