具有所有可为空字段的StructType

时间:2019-04-12 01:42:08

标签: apache-spark nullable

我有一个自动从某些原始文件派生的Spark StructType定义。 我需要StructType数据结构中的所有字段都可以为空/可选

在StructType API上,有一个私有的asNullable似乎可以实现向所有可为空的数据结构的转换。

我正在Scala中编程。

我已经看到一些Java代码调用asNullable方法,但这是一个scala包私有方法,因此我根本不满意调用该方法。

有什么替代方法可以采用StructType并将所有嵌套字段翻转为可空值。 有受支持的实用程序吗?

我不想模仿现有的asNullable方法,因为测试起来很丑陋而且很脆弱。

0 个答案:

没有答案