如何获取createDataFrame的verifySchema中的异常记录

时间:2019-04-13 14:24:26

标签: pyspark

我想对照我在json文件(结构类型)中定义的模式来验证输入源文件(镶木地板)的数据类型。我想获取不遵循架构中定义的数据类型的源记录。

如何处理createDataFrame中的verify schema = true的异常并获取那些记录?我的目的是获取并拒绝这些记录,很少有将其转换为好记录并发送给他们的记录。

0 个答案:

没有答案