将数据加载到动态分区需要花费大量时间

时间:2015-03-18 21:10:40

标签: dynamic hive partition

当我使用动态分区运行hive查询时,我发现将数据加载到分区是一个耗时的过程。

鉴于我的数据只有date = 2015-03-15和locale = us并使用动态分区运行查询,我看到 -

Loading data to table schema.tablename partition (date=null, locale=null)
Loading partition {date=2015-01-25,locale=us}
Loading partition {date=2015-02-12,locale=mx}
Loading partition {date=2015-03-17,locale=us}
Loading partition {date=2014-12-31,locale=tw}
...
...

虽然我已经设定了,但我看到很多统计数字都在这里收集了            SET hive.stats.autogather=false;

我想知道是否有任何设置/我可以做的任何事情来最小化将数据加载到分区的时间。请帮忙。

0 个答案:

没有答案