Question

我使用Spark MLLib k-Means，它需要具有相同尺寸的特征。功能是使用直方图计算的，所以我必须使用固定大小的分档。 Hive具有内置函数histogram_numeric（col，b） - 使用b个非均匀间隔的bin计算组中数字列的直方图。什么是最佳方法以及如何在直方图中使用b固定大小的箱子？

Answer 1

处理此问题的一种可能方法是创建这样的UDF

import org.apache.spark.sql.Row
import org.apache.spark.sql.functions._

def get_bucket(breaks: Array[Double]) = udf(
  (x: Double) =>
     scala.math.abs(java.util.Arrays.binarySearch(breaks, x) + 1))

让我们假设您的数据与此类似：

val df = sc.parallelize(Seq(
  (1, 1.0), (1, 2.3), (1, 0.4), (1, 2.1), (1, 3.5), (1, 9.0),
  (2, 3.6), (2, 0.2), (2, 0.6), (2, 0.1), (2, 4.0), (2, -1.0)
)).toDF("k", "v")

其中k标识点，v是您要用于计算直方图的值。

val breaks = Array(0.0, 1.0, 2.0, 3.0, 4.0)

val dfWithBuckets = df
  .withColumn("bucket", get_bucket(breaks)($"v"))
  .groupBy($"k", $"bucket")
  .agg(count(lit(1)))

dfWithBuckets.show()
// +---+------+--------+
// |  k|bucket|count(1)|
// +---+------+--------+
// |  1|     1|       1|
// |  1|     2|       1|
// |  1|     3|       2|
// |  1|     4|       1|
// |  1|     5|       1|
// |  2|     0|       1|
// |  2|     1|       3|
// |  2|     4|       1|
// |  2|     5|       1|
// +---+------+--------+

最后，上面的数据可以被收集，分组并转换为矢量：

import org.apache.spark.mllib.linalg.Vectors

def toVector(xs: Iterable[(Int, Long)], n: Int) = {
    val sorted = xs.toArray.sorted
    val indices = sorted.map(_._1)
    val values = sorted.map(_._2.toDouble)
    Vectors.sparse(n, indices, values)
}

val vectors = dfWithBuckets.map{
  case Row(k: Int, b: Int, cnt: Long) =>
    (k, (b, cnt))}
  .groupByKey
  .mapValues(vs => toVector(vs, breaks.size + 1))

vectors.collect
// Array[(Int, org.apache.spark.mllib.linalg.Vector)] = Array(
//   (1,(6,[1,2,3,4,5],[1.0,1.0,2.0,1.0,1.0])),
//   (2,(6,[0,1,4,5],[1.0,3.0,1.0,1.0])))

如何在Hive的直方图中使用固定bin大小？

1 个答案: