CosmosDB的Spark DataFrame编写器是否照顾空行？

Question

在数据处理之后，我正在构建一个大型DataFrame，并使用df.write.mode(SaveMode.Overwrite).cosmosDB(writeConfig)

使用CosmosDB的Spark SQL连接器将其写回到CosmosDB集合中。

写的类是DataFrameWriter中的spark_sql_2.11。 DataFrameWriter是否检查要写入的行是否仅包含空字符串？如果不是，那么在将其传递给DataFrameWriter之前，我需要验证行是否为空。

Answer 1

如果要确定，只需编写一个map函数并过滤掉所有空行，例如像this。

此外，您的数据框是否包含一个id列，还是让CosmosDB为您生成它？如果是前一种情况，那么如果id是一个空字符串，您仍然可能会遇到错误。