Question

我在Postgres数据库中有一个表，我正在尝试确定填充率（也就是说，我试图了解数据丢失的频率）。我需要创建一个函数，对于每个列（在我选择的几十列的列表中），计算具有非空值的列的数量和百分比。

问题是，我真的不知道如何以编程方式迭代列列表，因为我不知道如何从其名称的字符串引用列。我已经读过如何使用the EXECUTE command来运行动态编写的SQL，但是我无法让它工作。这是我目前的职能：

CREATE OR REPLACE FUNCTION get_fill_rates() RETURNS TABLE (field_name text, fill_count integer, fill_percentage float) AS $$
DECLARE
    fields text[] := array['column_a', 'column_b', 'column_c'];
    total_rows integer;
BEGIN
    SELECT reltuples INTO total_rows FROM pg_class WHERE relname = 'my_table';

    FOR i IN array_lower(fields, 1) .. array_upper(fields, 1)
    LOOP
        field_name := fields[i];
        EXECUTE 'SELECT COUNT(*) FROM my_table WHERE $1 IS NOT NULL' INTO fill_count USING field_name;
        fill_percentage := fill_count::float / total_rows::float;
        RETURN NEXT;
    END LOOP;
END;
$$ LANGUAGE plpgsql;
SELECT * FROM get_fill_rates() ORDER BY fill_count DESC;

这个函数，如所写，将每个字段返回为100％填充率，我知道这是假的。如何使这个功能起作用？

Answer 1

在我提出问题之后但在我提交问题之前，我想出了解决方案 - 因为我已经完成了编写问题的工作，所以我将继续分享答案。问题出在我的EXECUTE语句中，特别是那个USING field_name位。当我这样做时，我认为它被视为字符串文字，这意味着查询正在评估"a string literal" IS NOT NULL当然是否为真。

我需要将其直接注入查询字符串，而不是参数化列名。所以，我将EXECUTE行改为：

EXECUTE 'SELECT COUNT(*) FROM my_table WHERE ' || field_name || ' IS NOT NULL' INTO fill_count;

Answer 2

我知道你已经解决了。但是，我建议您避免在动态查询上连接标识符，您可以将format与标识符通配符一起使用：

CREATE OR REPLACE FUNCTION get_fill_rates() RETURNS TABLE (field_name text, fill_count integer, fill_percentage float) AS $$
DECLARE
    fields text[] := array['column_a', 'column_b', 'column_c'];
    table_name name := 'my_table';
    total_rows integer;
BEGIN
    SELECT reltuples INTO total_rows FROM pg_class WHERE relname = table_name;

    FOREACH field_name IN ARRAY fields
    LOOP
        EXECUTE format('SELECT COUNT(*) FROM %I WHERE %I IS NOT NULL', table_name, field_name) INTO fill_count;
        fill_percentage := fill_count::float / total_rows::float;
        RETURN NEXT;
    END LOOP;
END;
$$ LANGUAGE plpgsql;

这样做可以帮助您防止SQL注入攻击并减少查询解析开销。更多信息here。

Answer 3

代码中的一些问题（见下文），在普通查询中使用单次扫描时，这可能会更快更简单：

SELECT v.*
FROM  (
   SELECT count(column_a) AS ct_column_a
        , count(column_b) AS ct_column_b
        , count(column_c) AS ct_column_c
        , count(*)::numeric AS ct
   FROM   my_table
   ) sub
     , LATERAL (
      VALUES
         (text 'column_a', ct_column_a, round(ct_column_a / ct, 3))
       , (text 'column_b', ct_column_b, round(ct_column_b / ct, 3))
       , (text 'column_c', ct_column_c, round(ct_column_c / ct, 3))
   ) v(field_name, fill_count, fill_percentage);

关键＆＃34;技巧＆＃34;这是 count()仅计算非空值，不需要任何技巧。

我将百分比舍入为3位小数，这是可选的。为此我转向numeric。

使用VALUES表达式取消结果，每个字段获得一行。

对于重复使用或者如果要处理的列列表很长，可以动态生成和执行查询。但是，再一次，不要为每一列单独计算。只需动态构建上述查询：

CREATE OR REPLACE FUNCTION get_fill_rates(tbl regclass, fields text[])
  RETURNS TABLE (field_name text, fill_count bigint, fill_percentage numeric) AS
$func$
BEGIN
RETURN QUERY EXECUTE (
-- RAISE NOTICE '%', (  -- to debug if needed
   SELECT
     'SELECT v.*
      FROM  (
         SELECT count(*)::numeric AS ct
              , ' || string_agg(format('count(%I) AS %I', fld, 'ct_' || fld), ', ') || '
         FROM   ' || tbl || '
         ) sub
           , LATERAL (
            VALUES
               (text ' || string_agg(format('%L, %2$I, round(%2$I/ ct, 3))', fld, 'ct_' || fld), ', (') || '
         ) v(field_name, fill_count, fill_pct)
      ORDER  BY v.fill_count DESC'
   FROM  unnest(fields) fld
   );
END
$func$ LANGUAGE plpgsql;

呼叫：

SELECT * FROM get_fill_rates('my_table', '{column_a, column_b, column_c}');

正如您所看到的，现在这适用于任何给定的表和列列表所有标识符都是使用format()或regclass类型的内置美德自动正确引用的。

迭代列名以获取PL / pgSQL函数中的计数

3 个答案: