Question

我使用apache drill进行了数据格式更改程序。

在这个程序中，如果csv文件转换为json，则在hdfs中生成json文件

但我希望输出文件被压缩。

有可能吗？如果有可能如何制作??

Answer 1

是的，您可以在apache drill中设置压缩类型。

来自文档，

您可以在系统或会话级别为每个群集设置钻取查询计划和执行选项。在会话级别设置的选项仅适用于在当前“钻取”连接期间运行的查询。在系统级别设置的选项会影响整个系统，并在重新启动之间保持不变。会话级别设置会覆盖系统级别设置。＆＃34;

ALTER SYSTEM SET `option_name` = value;

选项名称 store.parquet.compression 您可以从允许的值中选择压缩类型： snappy，gzip，none

更多信息here。