Question

我想计算角色＆＃39; a＆＃39;在火花壳。我有一个有点麻烦的方法，分为＆＃39; a＆＃39;和＆＃34;长度 - 1＆＃34;是我想要的。这是代码：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val test_data = sqlContext.read.json("music.json")
test_data.registerTempTable("test_data")
val temp1 = sqlContext.sql("select user.id_str as userid, text from test_data")
val temp2 = temp1.map(t => (t.getAs[String]("userid"),t.getAs[String]("text").split('a').length-1))

然而，有人告诉我这不是远程安全的。我不知道为什么，你能给我一个更好的方法吗？

Answer 1

这不安全，因为如果值为NULL：

val df = Seq((1, None), (2, Some("abcda"))).toDF("id", "text")

getAs[String]将返回null：

scala> df.first.getAs[String]("text") == null
res1: Boolean = true

和split将给予NPE：

scala> df.first.getAs[String]("text").split("a")
java.lang.NullPointerException
...

这很可能是你在your previous question中得到的情况。

一个简单的解决方案：

import org.apache.spark.sql.functions._

val aCnt = coalesce(length(regexp_replace($"text", "[^a]", "")), lit(0))
df.withColumn("a_cnt", aCnt).show

// +---+-----+-----+
// | id| text|a_cnt|
// +---+-----+-----+
// |  1| null|    0|
// |  2|abcda|    2|
// +---+-----+-----+

如果您想让代码相对安全，您应该检查是否存在null：

def countAs1(s: String) = s match {
  case null => 0
  case chars => s.count(_ == 'a')
}

countAs1(df.where($"id" === 1).first.getAs[String]("text"))
// Int = 0

countAs1(df.where($"id" === 2).first.getAs[String]("text"))
// Int = 2

或捕捉可能的例外：

import scala.util.Try

def countAs2(s: String) = Try(s.count(_ == 'a')).toOption.getOrElse(0)

countAs2(df.where($"id" === 1).first.getAs[String]("text"))
// Int = 0

countAs2(df.where($"id" === 2).first.getAs[String]("text"))
// Int = 2

如何计算Spark中的某个字符

1 个答案: