检查DataFrame(Scala)是否为空的最快方法?

时间:2016-05-03 08:14:21

标签: scala apache-spark apache-spark-sql spark-dataframe

如何以最快的方式检查DataFrame( Scala )是否为空?我使用 DF.limit(1).rdd.isEmpty ,比DF.rdd更快。 isEmpty,但不理想。有没有更好的方法呢?

1 个答案:

答案 0 :(得分:3)

我通常会围绕first

打电话给Try
import scala.util.Try

val t = Try(df.first)

如果它是SuccessFailure来控制逻辑,那么就可以匹配它:

import scala.util.{Success,Failure}

t match {
  case Success(df) => //do stuff with the dataframe

  case Failure(e) => 
    // dataframe is empty; do other stuff
    //e.getMessage will return the exception message
}