我已将许多json对象写入一个存储系统(例如Cosmos DB),并且到目前为止(根据json的有效性)没有收到警告/错误消息。在json对象的其他元素中,有一个元素{seq = 1}和一个带有字符串元素的数组。 在一个spark scala笔记本中,我有以下代码:
val dframe = spark.sql("select * from c where c.seq = 1 limit 5")
display(dframe)
返回的错误是:
SparkException: Job aborted due to stage failure: Task 0 in stage 6.0 failed 4 times, most recent failure: Lost task 0.3 in stage 6.0 (TID 8, 10.11.4.27, executor 0): java.lang.ClassCastException: java.lang.String cannot be cast to java.util.ArrayList
我可能只有几个json对象,其中数组包含一个元素{null},或者什么都没有。 我如何找到该json对象?谢谢!