在Spark中从S3读取时处理丢失的数据

Question

我正在使用编码器将s3中的数据读取到DF，但是在编码器实体中指定的一些字段在输入数据中丢失，我得到了

User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve

如何处理这种情况？

Encoder<Entity> sEncoder = Encoders.bean(Entity.class);
Dataset<Entity> sAggregates =sparkSession.read().json(inputPaths.get(0).as(sEncoder);