Spark DataFrame Schema Nullable Fields

Question

我在Scala＆amp; amp;中编写了以下代码Python，但返回的DataFrame似乎不会应用我正在应用的架构中的非可空字段。 italianVotes.csv是一个csv文件，其中包含＆＃39;〜＆＃39;作为分隔符和四个字段。我使用Spark 2.1.0 。

italianVotes.csv

2657~135~2~2013-11-22 00:00:00.0
2658~142~2~2013-11-22 00:00:00.0
2659~142~1~2013-11-22 00:00:00.0
2660~140~2~2013-11-22 00:00:00.0
2661~140~1~2013-11-22 00:00:00.0
2662~1354~2~2013-11-22 00:00:00.0
2663~1356~2~2013-11-22 00:00:00.0
2664~1353~2~2013-11-22 00:00:00.0
2665~1351~2~2013-11-22 00:00:00.0
2667~1357~2~2013-11-22 00:00:00.0

Scala的

import org.apache.spark.sql.types._
val schema =  StructType(
StructField("id", IntegerType, false) ::
StructField("postId", IntegerType, false) ::
StructField("voteType", IntegerType, true) ::
StructField("time", TimestampType, true) :: Nil)

val fileName = "italianVotes.csv"

val italianDF = spark.read.schema(schema).option("sep", "~").csv(fileName)

italianDF.printSchema()

// output
root
 |-- id: integer (nullable = true)
 |-- postId: integer (nullable = true)
 |-- voteType: integer (nullable = true)
 |-- time: timestamp (nullable = true)

的Python

from pyspark.sql.types import *

schema = StructType([
    StructField("id", IntegerType(), False),
    StructField("postId", IntegerType(), False),
    StructField("voteType", IntegerType(), True),
    StructField("time", TimestampType(), True),
])

file_name = "italianVotes.csv"

italian_df = spark.read.csv(file_name, schema = schema, sep = "~")

# print schema
italian_df.printSchema()

root
 |-- id: integer (nullable = true)
 |-- postId: integer (nullable = true)
 |-- voteType: integer (nullable = true)
 |-- time: timestamp (nullable = true)

我的主要问题是，当我在架构中将它们设置为不可为空时，为什么前两个字段可以为空？

Answer 1

一般来说，Spark Datasets要么从父项继承nullable属性，要么根据外部数据类型进行推断。

你可以争论它是否是一种好的方法，但最终它是明智的。如果数据源的语义不支持可空性约束，那么模式的应用也不能。在一天结束时，如果相反的假设结果不正确，最好假设事情可以是null，而不是运行时失败。