Spark Cosmos DB Connector-处理格式错误的文档

时间:2019-10-18 17:34:54

标签: apache-spark apache-spark-sql azure-cosmosdb databricks azure-databricks

我正在使用Cosmos DB Connector for Spark,可在此处使用:

Azure Cosmos DB Connector for Apache Spark

与CSV和JSON阅读器不同,它似乎没有提供“模式”选项,例如“ PERMISSIVE”,“ DROPMALFORMED”或“ FAILFAST”。而是,它似乎始终处于“ FAILFAST”模式。从Cosmos架构JSON的任何问题都将导致立即失败。

有没有我所不曾见过的模式,和/或只是没有充分记录?当处理一个包含各种模式的集合,并且不具有将一种格式与另一种格式区分开的属性时,我希望使用类似这样的东西:

.option("mode", "PERMISSIVE")

但是,我在文档中找不到类似的内容,并且这种方法的几种排列都行不通。

有想法吗?

0 个答案:

没有答案