Question

我使用scala的/：运算符计算一系列数据集聚合。下面列出了聚合的代码：

def execute1( 
xy: DATASET, 
f: Double => Double): Double = {

println("PRINTING: The data points being evaluated: " + xy)
println("PRINTING: Running execute1")

var z = xy.filter{ case(x, y) => abs(y) > EPS}

var ret = - z./:(0.0) { case(s, (x, y)) => {
   var px = f(x)
   s + px*log(px/y)}  
}

ret
}

当我尝试运行块以获取作为f参数传入的单独函数的列表时，会出现问题。功能列表是：

  lazy val pdfs = Map[Int, Double => Double](
1 -> betaScaled,
2 -> gammaScaled,
3 -> logNormal,
4 -> uniform,
5 -> chiSquaredScaled
)

通过列表运行聚合的执行程序函数是：

  def execute2( 
xy: DATASET, 
fs: Iterable[Double=>Double]): Iterable[Double] = { 
fs.map(execute1(xy, _))
}

使用最终执行块：

val kl_rdd  = master_ds.mapPartitions((it:DATASET) => {
val pdfsList = pdfs_broadcast.value.map(
     n => pdfs.get(n).get
)

execute2(it, pdfsList).iterator

问题是，当聚合确实发生时，它们似乎都聚集在输出数组的第一个槽中，当我希望单独显示每个函数的聚合时。我运行测试以确认所有五个函数实际上都在运行，并且它们在第一个插槽中进行求和。

The pre-divergence value: -4.999635700491883
The pre-divergence value: -0.0
The pre-divergence value: -0.0
The pre-divergence value: -0.0
The pre-divergence value: -0.0

这是我遇到的最困难的问题之一，所以任何方向都会非常受欢迎。将给予应有的信用。谢谢！

Answer 1

Spark的数据集没有foldLeft（又名/:）：https://spark.apache.org/docs/2.1.0/api/scala/index.html#org.apache.spark.sql.Dataset，实际上需要类型参数DataSet[T]，其名称并非全部为大写。

所以，我认为你的DATASET类型是一个迭代器，所以它在第一次运行execute1后就会耗尽，所以每个后续的execute1都会得到空的迭代器。基本上，它不会聚合所有函数 - 它只执行第一个函数而忽略其他函数（得到-0.0因为你将0.0作为初始值传递给foldLeft）。

正如您从mapPartitions签名中看到的那样：

def mapPartitions[U](f: (Iterator[T]) ⇒ Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]

它为你提供了一个迭代器（可以只遍历一次的可变结构），所以你应该it.toList来获得（可能但有限的大）不可变结构（List）。

P.S。如果你想真正使用Spark的DataSet / RDD - 使用aggregate（RDD）或agg（DataSet）。另见：foldLeft or foldRight equivalent in Spark?

关于迭代器的解释：

scala> val it = List(1,2,3).toIterator
it: Iterator[Int] = non-empty iterator

scala> it.toList //traverse iterator and accumulate its data into List
res0: List[Int] = List(1, 2, 3)

scala> it.toList //iterator is drained, so second call doesn't traverse anything
res1: List[Int] = List()

在Scala中聚合Spark数据集的问题

1 个答案: