如何检查hive表中是否启用了ZLIB压缩?

时间:2018-02-13 05:16:55

标签: hadoop hive compression zlib orc

我在desc中看到压缩属性设置为no。

我是如何创建表格的:

创建表temp(.....) 存储为orc tblproperties(" orc.compress" =" ZLIB&#34)

2 个答案:

答案 0 :(得分:1)

您可以使用orcfiledump实用程序:

hive --orcfiledump hdfs://table_location 

它将打印orc文件元数据,统计信息,压缩信息。

压缩信息如下所示:

Rows: 95
Compression: SNAPPY
Compression size: 262144

请参阅此处的手册:ORC File Dump Utility

此外,hive命令describe formatted table_name打印表参数,并且有orc.compress参数。

答案 1 :(得分:0)

您的问题的答案是describe formatted声明。

使用以下语法激活此命令时

describe formatted <your table name>

您会在屏幕上看到一些输出,其中一部分将如下所示。

# Detailed Table Information             
Database:               default                  
Owner:                  edureka_268377           
CreateTime:             Thu Feb 22 04:56:05 UTC 2018     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://nameservice1/user/hive/warehouse/tests3   
Table Type:             MANAGED_TABLE            
Table Parameters:                
        orc.compress            ZLIB                
        transient_lastDdlTime   1519275365          

# Storage Information            
SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:             
        serialization.format    1     

注意表格参数部分。它有一个名为orc.compress的属性。它说 ZLIB 。所以 ZLIB 是您的压缩编解码器。如果它是SNAPPY或其他东西,那里会提到它。 如果为空,则压缩编解码器为ZLIB,默认值为

希望有所帮助!