Question

我正在运行Spark作业来聚合数据。我有一个名为Profile的自定义数据结构，它基本上包含mutable.HashMap[Zone, Double]。我想使用以下代码合并共享给定密钥（UUID）的所有配置文件：

def merge = (up1: Profile, up2: Profile) => { up1.addWeights(up2); up1}
val aggregated = dailyProfiles
  .aggregateByKey(new Profile(), 3200)(merge, merge).cache()

奇怪的是，Spark因以下错误而失败：

org.apache.spark.SparkException：作业因阶段失败而中止：116318任务的序列化结果总大小（1024.0 MB）大于spark.driver.maxResultSize（1024.0 MB）

显而易见的解决方案是增加＆＃34; spark.driver.maxResultSize＆＃34;，但有两件事让我困惑。

我得到的1024.0大于1024.0
我发现谷歌搜索此特定错误和配置参数的所有文档和帮助表明它会影响将值带回驱动程序的函数。（比如take()或collect()），但是我没有对驱动程序采取任何行动，只是从HDFS读取，聚合，保存回HDFS。

有谁知道我为什么会收到此错误？

Answer 1

是，它失败了，因为我们在异常消息中看到的值是   舍入一个精度，并以字节为单位进行比较。

序列化输出必须超过1024.0 MB且小于1024.1 MB 。

检查添加的Apache Spark代码片段，获取此错误非常有趣且非常罕见。：）

这里totalResultSize > maxResultSize都是Long类型，并且以字节为单位保存值。但msg保留Utils.bytesToString()的舍入值。

//TaskSetManager.scala
  def canFetchMoreResults(size: Long): Boolean = sched.synchronized {
    totalResultSize += size
    calculatedTasks += 1
    if (maxResultSize > 0 && totalResultSize > maxResultSize) {
      val msg = s"Total size of serialized results of ${calculatedTasks} tasks " +
        s"(${Utils.bytesToString(totalResultSize)}) is bigger than spark.driver.maxResultSize " +
        s"(${Utils.bytesToString(maxResultSize)})"
      logError(msg)
      abort(msg)
      false
    } else {
      true
    }
  }

Apache Spark 1.3 - source

//Utils.scala
  def bytesToString(size: Long): String = {
    val TB = 1L << 40
    val GB = 1L << 30
    val MB = 1L << 20
    val KB = 1L << 10

    val (value, unit) = {
      if (size >= 2*TB) {
        (size.asInstanceOf[Double] / TB, "TB")
      } else if (size >= 2*GB) {
        (size.asInstanceOf[Double] / GB, "GB")
      } else if (size >= 2*MB) {
        (size.asInstanceOf[Double] / MB, "MB")
      } else if (size >= 2*KB) {
        (size.asInstanceOf[Double] / KB, "KB")
      } else {
        (size.asInstanceOf[Double], "B")
      }
    }
    "%.1f %s".formatLocal(Locale.US, value, unit)
  }

Apache Spark 1.3 - source

范围＆＃39; spark.driver.maxResultSize＆＃39;

1 个答案: