Spark DataFrame-正在应用架构显示可为空始终为true

Question

我正在尝试为我的json文件之一应用架构。而且，如果我为架构中的此特定字段POST或cons_key = "xxx" cons_sec = "xxx" acc_tok = "xxx" acc_sec = "xxx" app = "abc" token = rtweet::create_token(app,cons_key,cons_sec,acc_tok,acc_sec) manutd = search_fullarchive("manchester united",n=500, fromDate = "201812010000",toDate = "201902010000", env_name = app,token = token) 提供可为空的值也没关系，当我将该架构应用于文件时，该字段仅以true出现。

架构

false

输出

nullable

在文件上应用架构

val SMSDF = spark.read.schema（schema）.json（“ / mnt / aaa / log *”） SMSDF.printSchema（）

输出

val schema = StructType(
    List(
        StructField("SMS", StringType, false)
     )
)

我正在使用Spark 2.4.3，Scala 2.11