我正在使用Cosmos DB Connector for Spark,可在此处使用:
Azure Cosmos DB Connector for Apache Spark
与CSV和JSON阅读器不同,它似乎没有提供“模式”选项,例如“ PERMISSIVE”,“ DROPMALFORMED”或“ FAILFAST”。而是,它似乎始终处于“ FAILFAST”模式。从Cosmos架构JSON的任何问题都将导致立即失败。
有没有我所不曾见过的模式,和/或只是没有充分记录?当处理一个包含各种模式的集合,并且不具有将一种格式与另一种格式区分开的属性时,我希望使用类似这样的东西:
.option("mode", "PERMISSIVE")
但是,我在文档中找不到类似的内容,并且这种方法的几种排列都行不通。
有想法吗?