如何以编程方式验证spark DataFrame列的数据类型？

Question

我在IntelliJ中为一个正在进行类型转换的函数创建了一个单元测试。因此，在我的单元测试中，我想使用assert语句进行验证，如下所示：

assert(testDF.select(col1).dataType == Integer)

因此，如果上述断言语句满足单元测试将会成功。

有人可以帮忙吗？

Answer 1

例如，您可以使用模式匹配：

VoltageResistor

如果您想匹配其他属性

import org.apache.spark.sql.types.IntegerType

assert(testDF.schema(col1).dataType match {
  case IntegerType => true
  case _ => false
})