Postgres按周分区

时间:2013-04-17 00:20:13

标签: sql postgresql partitioning week-number

我可以想象日期(尤其是日志)的表格分区是广泛使用的东西,但我无法找到解决问题的好方法。

我想按周创建一个表分区(每月记录的数量很大)。每周一次的原因是我需要一个算法的数据,该算法将在此过程中查找日期。

我的问题是我希望它在考虑一周并使用"典型的"来创建分区。方法我必须手动创建它。这样的事情。

    CREATE TABLE measurement_y2013w01 (
CHECK ( logdate >= DATE '2013-01-07' AND logdate < DATE '2013-01-14' ) 
    ) INHERITS (measurement);

    CREATE TABLE measurement_y2006w02 (
CHECK ( logdate >= DATE '2013-01-14' AND logdate < DATE '2013-01-21' ) 
    ) INHERITS (measurement);

... 

但我想让它自动制作。我不想一个接一个地创建一个分区。

我的命名规则是yYYYYWWW,用于命名分区或启动datadYYYYMMDD。

我想在使用类似的东西插入时检查分区:

 SELECT
    nmsp_parent.nspname AS parent_schema,
    parent.relname      AS parent,
    nmsp_child.nspname  AS child,
    child.relname       AS child_schema
FROM pg_inherits
    JOIN pg_class parent        ON pg_inherits.inhparent = parent.oid
    JOIN pg_class child         ON pg_inherits.inhrelid   = child.oid
    JOIN pg_namespace nmsp_parent   ON nmsp_parent.oid  = parent.relnamespace
    JOIN pg_namespace nmsp_child    ON nmsp_child.oid   = child.relnamespace

并且如果分区不存在,那么在插入之前创建它,但考虑到插入的记录数,这种方法的效率很低。

我的另一种选择是每周运行一个外部进程来创建这个分区,但我试图避免这种情况。

我是否缺少一个更有效的解决方案,例如,用于月度检查?

3 个答案:

答案 0 :(得分:4)

好的,让我们自己创建一个处理它的功能!

CREATE OR REPLACE FUNCTION create_partition_measurement( DATE, DATE )
returns void AS $$
DECLARE
create_query text;
BEGIN
    FOR create_query IN SELECT

        'CREATE TABLE measurement_' || TO_CHAR( d, 'YYYY_WW' ) || ' (
        CHECK ( EXTRACT(YEAR FROM logdate) = EXTRACT(YEAR FROM TIMESTAMP ''' || d || ''') AND EXTRACT(WEEK FROM logdate) = EXTRACT(WEEK FROM TIMESTAMP ''' || d || ''') )
        ) INHERITS (measurement);'

        FROM generate_series( $1, $2, '1 week' ) AS d LOOP

        EXECUTE create_query;

    END LOOP;
END;
$$
language plpgsql;

有了这个,您现在可以调用类似

的内容
SELECT create_partition_measurement ('2015/02/08','2015/03/01'); 

并创建分区。完成自动化的第一步。

我使用以下测试表在我自己的数据库中测试了所有这些:

CREATE TABLE measurement (id INT NOT NULL PRIMARY KEY, id_user INT NOT NULL, logdate TIMESTAMP NOT NULL);

使用上述功能创建分区后,我能够:

  • 将数据插入正确的分区;
  • 尝试将数据从一周插入到另一周的分区时出错;
  • 自动创建分区数周,并且;
  • 如果我尝试创建一个已存在的分区,则会出错。

这应该足够=)

现在,关于自动化创建过程。我使用一个简单的cron脚本每个月为我调用这个函数和几个监视脚本,以确保一切正常工作。 cron看起来像这样:

0 0 1 * * /var/lib/postgresql/create_partitions.sh

脚本将使用当前日期和当前日期+ 1个月运行命令。它看起来像这样:

startDate=`date "+%Y/%m/%d"`
endDate=`date -u -d "+1 month -$(date +%d) days" "+%Y/%m/%d"
psql -U "$dbUser" -w -c "SELECT create_partition_measurement('$startDate','$endDate');"

如果您需要在表格中包含索引,PK,FK或帮助完成所有这些工作,请告诉我。

答案 1 :(得分:2)

您可以使用 date_trunc 功能将数据值舍入到一周的第一天。对于分区命名,您可以使用年份中的年份和周数 YYWW

CREATE TABLE measurement_1301 (
    CHECK ( date_trunc( 'week', logdate )::date = DATE '2013-01-07') )
    INHERITS (measurement);

CREATE TABLE measurement_1302 (
    CHECK ( date_trunc( 'week', logdate )::date = DATE '2013-01-14') )
    INHERITS (measurement);

CREATE TABLE measurement_1303 (
    CHECK ( date_trunc( 'week', logdate )::date = DATE '2013-01-21') )
    INHERITS (measurement);

-- Default partition:
CREATE TABLE measurement_default () INHERITS (measurement);

要生成分区名称,请使用to_char( logdate::date, 'YYWW'),如果您愿意,请使用 yYYYYWWW to_char( logdate::date, '"y"YYYY"w"WW')

要检查现有分区,您可以使用非常简单的查询:

SELECT relname FROM pg_class
WHERE relname ~ '^measurement_[0-9]{4}$'
ORDER BY RIGHT(relname,4) DESC

如果给定的一周没有分区,数据路由触发器会插入到适当的分区并回退到默认值。

CREATE OR REPLACE FUNCTION measurement_insert_trigger()
RETURNS TRIGGER AS $$
BEGIN

    IF to_char( NEW.logdate::date, 'YYWW') = '1301' THEN
        INSERT INTO measurement_1301 VALUES (NEW.*);
    ELSIF to_char( NEW.logdate::date, 'YYWW') = '1302' THEN
        INSERT INTO measurement_1302 VALUES (NEW.*);
    ELSIF to_char( NEW.logdate::date, 'YYWW') = '1303' THEN
        INSERT INTO measurement_1303 VALUES (NEW.*);
    -- ...
    ELSE
      INSERT INTO measurement_default VALUES (NEW.*);
    END IF;
    RETURN NULL;
END;
$$ LANGUAGE plpgsql;

CREATE TRIGGER measurement_insert_tr BEFORE INSERT ON measurement
FOR EACH ROW EXECUTE PROCEDURE measurement_insert_trigger()

您将事先创建所有分区。或者您可以使用默认分区和时间重新分区存储的数据,创建新分区并调整插入触发器。

PS你可以在http://hg.nowitworks.eu/postgresql-triggers-and-partitions

找到基于触发器分区解决方案的脚本

答案 2 :(得分:0)

如果它有帮助,我写了一个postgres触发器来创建一个按天自动分区的表。创建继承表会自动发生。要按周划分,您必须更改day-&gt;字符串映射以及它。

https://github.com/bitdivine/pg_day_partitions