火花中为空或为空的数组

时间:2019-12-13 16:15:37

标签: apache-spark apache-spark-sql

我已将许多json对象写入一个存储系统(例如Cosmos DB),并且到目前为止(根据json的有效性)没有收到警告/错误消息。在json对象的其他元素中,有一个元素{seq = 1}和一个带有字符串元素的数组。 在一个spark scala笔记本中,我有以下代码:

val dframe = spark.sql("select * from c where c.seq = 1 limit 5")
display(dframe)

返回的错误是:

SparkException: Job aborted due to stage failure: Task 0 in stage 6.0 failed 4 times, most recent failure: Lost task 0.3 in stage 6.0 (TID 8, 10.11.4.27, executor 0): java.lang.ClassCastException: java.lang.String cannot be cast to java.util.ArrayList

我可能只有几个json对象,其中数组包含一个元素{null},或者什么都没有。 我如何找到该json对象?谢谢!

0 个答案:

没有答案