阅读实木复合地板时是否有可能保持列顺序?

时间:2015-09-23 20:01:04

标签: scala apache-spark apache-spark-sql

将包含列的数据框(例如" a"," b")保存为镶木地板,然后在稍后的时间点读取镶木地板并不会提供相同的列顺序(可能是" b"," a" fe)文件保存为。

不幸的是,我无法弄清楚,订单是如何受到影响的,以及我如何控制它。

如何在镶木地板上阅读时保持原始列顺序?

1 个答案:

答案 0 :(得分:3)

PARQUET-188表明列排序不是镶木地板规范的一部分,因此依赖排序可能不是一个好主意。但是你可以自己管理,例如通过按字典顺序加载/保存数据框列,或者存储列名。