Question

我有Scala Spark代码库，它运行良好，但不应该。

第二列包含混合类型的数据，而在Schema中我将其定义为IntegerType。我的实际程序有超过100列，并在转换后继续派生多个子DataFrames。

如何验证RDD或DataFrame字段的内容是否具有正确的数据类型值，从而忽略无效行或将列的内容更改为某个默认值。我们赞赏使用DataFrame或RDD进行数据质量检查的更多指针。

var theSeq = Seq(("X01", "41"),
    ("X01", 41),
    ("X01", 41),
    ("X02", "ab"),
    ("X02", "%%"))

val newRdd = sc.parallelize(theSeq)
val rowRdd = newRdd.map(r => Row(r._1, r._2))

val theSchema = StructType(Seq(StructField("ID", StringType, true),
    StructField("Age", IntegerType, true)))
val theNewDF = sqc.createDataFrame(rowRdd, theSchema)
theNewDF.show()

Answer 1

首先传递schema只是避免类型推断的一种方法。在DataFrame创建期间未验证或强制执行此操作。另外，我不会将ClassCastException描述为运作良好。有那么一刻，我以为你确实发现了一个错误。

我认为重要的问题是如何首先获得theSeq / newRdd这样的数据。它是你自己解析的东西，是从外部组件收到的吗？只需查看类型（Seq[(String, Any)] / RDD[(String, Any)]），您就已经知道它不是DataFrame的有效输入。处理这个级别的事情的方法可能是接受静态类型。 Scala提供了一些处理意外情况的简洁方法（Try，Either，Option），其中最后一个是最简单的条件，并且作为奖励适用于Spark SQL。相当简单的处理事情的方式可能看起来像这样

def validateInt(x: Any) = x match {
  case x: Int => Some(x)
  case _ => None
}

def validateString(x: Any) = x match { 
  case x: String => Some(x)
  case _ => None
}

val newRddOption: RDD[(Option[String], Option[Int])] = newRdd.map{
  case (id, age) => (validateString(id), validateInt(age))}

由于Options可以轻松编写，您可以添加其他支票，如下所示：

def validateAge(age: Int) = {
  if(age >= 0 && age < 150) Some(age)
  else None
}

val newRddValidated: RDD[(Option[String], Option[Int])] = newRddOption.map{
  case (id, age) => (id, age.flatMap(validateAge))}

接下来代替Row，这是一个非常粗略的容器，我将使用案例类：

case class Record(id: Option[String], age: Option[Int])

val records: RDD[Record] = newRddValidated.map{case (id, age) => Record(id, age)}

此时您只需拨打toDF：

import org.apache.spark.sql.DataFrame

val df: DataFrame = records.toDF
df.printSchema

// root
//  |-- id: string (nullable = true)
//  |-- age: integer (nullable = true)

这很难但可以说是更优雅的方式。更快的是让SQL构建系统为您完成工作。首先，我们将所有内容转换为Strings：

val stringRdd: RDD[(String, String)] = sc.parallelize(theSeq).map(
  p => (p._1.toString, p._2.toString))

接下来创建一个DataFrame：

import org.apache.spark.sql.types._
import org.apache.spark.sql.Column
import org.apache.spark.sql.functions.col

val df: DataFrame = stringRdd.toDF("id", "age")

val expectedTypes = Seq(StringType, IntegerType)
val exprs: Seq[Column] = df.columns.zip(expectedTypes).map{
  case (c, t) => col(c).cast(t).alias(c)}

val dfProcessed: DataFrame = df.select(exprs: _*)

结果：

dfProcessed.printSchema

// root
//  |-- id: string (nullable = true)
//  |-- age: integer (nullable = true)


dfProcessed.show

// +---+----+
// | id| age|
// +---+----+
// |X01|  41|
// |X01|  41|
// |X01|  41|
// |X02|null|
// |X02|null|
// +---+----+

Answer 2

1.4或更早版本

import org.apache.spark.sql.execution.debug._
theNewDF.typeCheck

虽然已经通过SPARK-9754删除了。我没有选中，但我认为typeCheck事先成为sqlContext.debug

如何验证Spark Dataframe的内容

2 个答案: