Hive 3.1 ACID增量文件-未触发次要自动压缩

时间:2018-11-07 20:15:54

标签: hive hiveql stream-compaction

我有一个启用了酸的,分区的,桶式配置单元表,我正在使用流客户端将其写入其中。我看到在将记录写入分区时创建了几个增量文件。我想启用自动压缩并尝试了以下基本参数和特定参数:

    hive.support.concurrency=true 
    hive.enforce.bucketing=true 
    hive.exec.dynamic.partition.mode=nonstrict 
    hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager 
    hive.compactor.initiator.on=true 
    hive.compactor.worker.threads=1

使用

hive.compactor.initiator.on=true 
hive.compactor.cleaner.run.interval=5000ms 
hive.compactor.delta.num.threshold=10 (to enable minor for 10 deltas)
hive.compactor.delta.pct.threshold=1000 (to disable major)
hive.compactor.abortedtxn.threshold=1000 
hive.compactor.initiator.failed.compacts.threshold=2 
hive.compactor.abortedtxn.threshold=1000

我这样做是出于希望禁用 主要 压缩和启用 自动 次要 压缩(阈值= 10个增量文件)。但是我看到没有自动触发压缩。手动运行(次要)时,我看到多个增量文件中的存储桶已合并到一个增量文件中。如何为表启用自动次要压缩?

0 个答案:

没有答案