Scala

时间:2017-11-08 02:45:54

标签: scala apache-spark anonymous-function

我正在查看其中一个示例代码(如下所示)。我注意到在这个方法中定义的匿名函数(下面的行//代码片段中的这个注释是什么)。究竟是什么以及如何调用它?

 def initHasher(requestFilePath: String) = {
      import spark.implicits._
      val hashes = spark.read.option("delimiter", ",").option("header", "true").csv(requestFilePath)
        .select($"Hash", $"Count").rdd
        .map(r => (r.getString(0), r.getString(1))).collectAsMap()
      val broadcastedHashes = spark.sparkContext.broadcast(hashes)

// What is this?
      (str: String) => {
        if (str != null && str.length > 0) {
          val hash = sha256hash(str)
          broadcastedHashes.value.get(hash) match {
            case None => hash
            case Some(count) => sha256hash(str + ":" + count)
          }
        }
        else
          null
      }
    }

1 个答案:

答案 0 :(得分:4)

initHasher初始化一个hasher并将其作为函数返回(您正在看到的匿名函数)。它会像这样使用:

// initialize your hasher here
val hasher = initHasher(requestFilePath)

// now you can use the hasher
val hash = hasher("my string")