在不使用计数spark的情况下，检查数据帧中的记录数是否大于零

Question

我想检查我创建的数据帧是否为空并且至少有1条记录。除了使用 count 方法并检查计数值是否大于0之外，还有更好的方法。

Answer 1

不妨这样做：

<script src="https://cdnjs.cloudflare.com/ajax/libs/d3/4.5.0/d3.min.js"></script>
<svg height="500" width="500"></svg>

df.take(1).length == 0 在内部实现上述功能。

Answer 2

使用rdd.isEmpty：

scala> Seq[(Long, String)]((1L, "a")).toDF.rdd.isEmpty
res0: Boolean = false

scala> Seq[(Long, String)]().toDF.rdd.isEmpty

res1：Boolean = true

Answer 3

使用RDD的isEmpty

def isEmpty(): Boolean = withScope {
partitions.length == 0 || take(1).length == 0

}