我们可以使用带有Snappy压缩的Hive Table的TEXT FILE格式吗？

Question

我在HDFS中有一个hive外部表，我正在尝试在它上面创建一个hive托管表。我正在使用带有snappy压缩的文本文件格式，但我想知道它如何帮助该表。

CREATE TABLE standard_cd 
(
    last_update_dttm         TIMESTAMP,
    last_operation_type     CHAR (1) ,
    source_commit_dttm   TIMESTAMP,
    transaction_dttm         TIMESTAMP ,
    transaction_type    CHAR (1)          
) 

PARTITIONED BY (process_dt DATE)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '|' 
STORED AS TEXTFILE
TBLPROPERTIES  ("orc.compress" = "SNAPPY");

如果以此格式创建有任何问题，请告诉我。

Answer 1

因此，他们在创作时没有问题。 但属性的差异：

创建并存储为TEXTFILE的表：

表创建并存储为ORC：

虽然加载一些数据后两个表的大小相同。

还请查看有关ORC file format

的文档