我正在将一些json数据从1个表转换为另一个表中的ORC格式。
我尝试使用orc.compress.size
的一些值进行试验,但注意到生成的orc文件使用128K压缩块大小(似乎是默认值)。将其设置为较低的值,例如64K可以工作,但不能达到更大的值,例如256K。尝试添加此表属性orc.buffer.size.enforce=true
,但也无济于事。
找到了该票证:https://issues.apache.org/jira/browse/HIVE-13563,其中默认值似乎与我找到的对应。但是,尚不清楚配置值是否可设置。
我正在使用emr 5.16.0。表使用ZLIB压缩。
如何将压缩块大小设置为更大的值,例如256K?这是否取决于我不知道的其他蜂巢/兽人设置?