我正在寻找一种方法来查找Postgres中所有表的行数。我知道我可以一次做一个表:
SELECT count(*) FROM table_name;
但是我希望看到所有表格的行数,然后按顺序排列,以了解我所有表格的大小。
答案 0 :(得分:485)
有三种方法可以获得这种计数,每种方法都有自己的权衡。
如果你想要一个真正的计数,你必须像对每个表一样执行SELECT语句。这是因为PostgreSQL将行可见性信息保留在行本身,而不是其他任何地方,因此任何准确的计数只能与某个事务相关。您将获得该事务在执行时所看到的内容的计数。您可以自动执行此操作以针对数据库中的每个表运行,但您可能不需要那么高的准确度或者想要等待那么长时间。
第二种方法指出,统计信息收集器随时跟踪大约有多少行是“活动”(未被更新后删除或废弃)。在繁重的活动中,这个值可能有点偏差,但通常是一个很好的估计:
SELECT schemaname,relname,n_live_tup
FROM pg_stat_user_tables
ORDER BY n_live_tup DESC;
这也可以显示有多少行已死,这本身就是一个值得监控的有趣数字。
第三种方法是注意系统ANALYZE命令,它定期执行autovacuum进程,从PostgreSQL 8.3开始更新表统计信息,也可以计算行估计值。你可以像这样抓住那个:
SELECT
nspname AS schemaname,relname,reltuples
FROM pg_class C
LEFT JOIN pg_namespace N ON (N.oid = C.relnamespace)
WHERE
nspname NOT IN ('pg_catalog', 'information_schema') AND
relkind='r'
ORDER BY reltuples DESC;
这些查询中哪一个更好用,很难说。通常我根据是否还有更多有用的信息做出决定,我也想在pg_class或pg_stat_user_tables中使用。出于基本的计数目的,只是为了看一般情况有多大,要么都应该足够准确。
答案 1 :(得分:34)
这是一个解决方案,不需要函数来获得每个表的准确计数:
select table_schema,
table_name,
(xpath('/row/cnt/text()', xml_count))[1]::text::int as row_count
from (
select table_name, table_schema,
query_to_xml(format('select count(*) as cnt from %I.%I', table_schema, table_name), false, true, '') as xml_count
from information_schema.tables
where table_schema = 'public' --<< change here for the schema you want
) t
query_to_xml
将运行传递的SQL查询并返回带有结果的XML(该表的行数)。然后,外部xpath()
将从该xml中提取计数信息并将其转换为数字
派生表并不是必需的,但使xpath()
更容易理解 - 否则需要将整个query_to_xml()
传递给xpath()
函数。
答案 2 :(得分:21)
要获得估算值,请参阅Greg Smith's answer。
为了得到确切的数字,到目前为止,其他答案都存在一些问题,其中一些是严重的(见下文)。这是一个希望更好的版本:
CREATE FUNCTION rowcount_all(schema_name text default 'public')
RETURNS table(table_name text, cnt bigint) as
$$
declare
table_name text;
begin
for table_name in SELECT c.relname FROM pg_class c
JOIN pg_namespace s ON (c.relnamespace=s.oid)
WHERE c.relkind = 'r' AND s.nspname=schema_name
LOOP
RETURN QUERY EXECUTE format('select cast(%L as text),count(*) from %I.%I',
table_name, schema_name, table_name);
END LOOP;
end
$$ language plpgsql;
它将模式名称作为参数,如果没有给出参数,则为public
。
要使用特定的模式列表或来自查询的列表而不修改函数,可以在查询中调用它,如下所示:
WITH rc(schema_name,tbl) AS (
select s.n,rowcount_all(s.n) from (values ('schema1'),('schema2')) as s(n)
)
SELECT schema_name,(tbl).* FROM rc;
这将生成一个3列输出,其中包含模式,表和行数。
现在,这个函数避免了其他答案中的一些问题:
不应使用quote_ident
或使用format()
格式的%I
函数将表和模式名称注入可执行SQL而不引用串。否则,某些恶意的人可能将其表tablename;DROP TABLE other_table
命名为完全有效的表名。
即使没有SQL注入和有趣的字符问题,表名也可能存在于大小写不同的变体中。如果某个表名为ABCD
而另一个表名为abcd
,则SELECT count(*) FROM...
必须使用带引号的名称,否则会跳过ABCD
并计算abcd
两次。 %I
格式会自动执行此操作。
information_schema.tables
除表之外还列出自定义复合类型,即使table_type为'BASE TABLE'
(!)。因此,我们无法在information_schema.tables
上进行迭代,否则我们会冒select count(*) from name_of_composite_type
的风险,而这会失败。 OTOH pg_class where relkind='r'
应该始终正常。
COUNT()的类型为bigint
,而非int
。可能存在超过21.5亿行的表(但是对它们运行计数(*)是一个坏主意。)
不需要为函数创建永久类型以返回具有多个列的结果集。 RETURNS TABLE(definition...)
是更好的选择。
答案 3 :(得分:16)
如果您不介意可能陈旧的数据,可以access the same statistics used by the query optimizer。
类似的东西:
SELECT relname, n_tup_ins - n_tup_del as rowcount FROM pg_stat_all_tables;
答案 4 :(得分:13)
对于那些试图评估他们需要哪个Heroku计划并且不能等待heroku的慢行计数器进行更新的人们来说,这个hacky,实用的答案是:
基本上你想在\dt
中运行psql
,将结果复制到你最喜欢的文本编辑器中(它看起来像这样:
public | auth_group | table | axrsosvelhutvw
public | auth_group_permissions | table | axrsosvelhutvw
public | auth_permission | table | axrsosvelhutvw
public | auth_user | table | axrsosvelhutvw
public | auth_user_groups | table | axrsosvelhutvw
public | auth_user_user_permissions | table | axrsosvelhutvw
public | background_task | table | axrsosvelhutvw
public | django_admin_log | table | axrsosvelhutvw
public | django_content_type | table | axrsosvelhutvw
public | django_migrations | table | axrsosvelhutvw
public | django_session | table | axrsosvelhutvw
public | exercises_assignment | table | axrsosvelhutvw
),然后运行正则表达式搜索并替换如下:
^[^|]*\|\s+([^|]*?)\s+\| table \|.*$
为:
select '\1', count(*) from \1 union/g
会产生与此类似的东西:
select 'auth_group', count(*) from auth_group union
select 'auth_group_permissions', count(*) from auth_group_permissions union
select 'auth_permission', count(*) from auth_permission union
select 'auth_user', count(*) from auth_user union
select 'auth_user_groups', count(*) from auth_user_groups union
select 'auth_user_user_permissions', count(*) from auth_user_user_permissions union
select 'background_task', count(*) from background_task union
select 'django_admin_log', count(*) from django_admin_log union
select 'django_content_type', count(*) from django_content_type union
select 'django_migrations', count(*) from django_migrations union
select 'django_session', count(*) from django_session
;
(您需要删除union
并在末尾手动添加分号)
在psql
中运行它,您已完成。
?column? | count
--------------------------------+-------
auth_group_permissions | 0
auth_user_user_permissions | 0
django_session | 1306
django_content_type | 17
auth_user_groups | 162
django_admin_log | 9106
django_migrations | 19
[..]
答案 5 :(得分:11)
不确定您是否接受 中的 答案,但FWIW ......
PGCOMMAND=" psql -h localhost -U fred -d mydb -At -c \"
SELECT table_name
FROM information_schema.tables
WHERE table_type='BASE TABLE'
AND table_schema='public'
\""
TABLENAMES=$(export PGPASSWORD=test; eval "$PGCOMMAND")
for TABLENAME in $TABLENAMES; do
PGCOMMAND=" psql -h localhost -U fred -d mydb -At -c \"
SELECT '$TABLENAME',
count(*)
FROM $TABLENAME
\""
eval "$PGCOMMAND"
done
答案 6 :(得分:6)
我不记得我收集它的网址。但希望这可以帮到你:
CREATE TYPE table_count AS (table_name TEXT, num_rows INTEGER);
CREATE OR REPLACE FUNCTION count_em_all () RETURNS SETOF table_count AS '
DECLARE
the_count RECORD;
t_name RECORD;
r table_count%ROWTYPE;
BEGIN
FOR t_name IN
SELECT
c.relname
FROM
pg_catalog.pg_class c LEFT JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE
c.relkind = ''r''
AND n.nspname = ''public''
ORDER BY 1
LOOP
FOR the_count IN EXECUTE ''SELECT COUNT(*) AS "count" FROM '' || t_name.relname
LOOP
END LOOP;
r.table_name := t_name.relname;
r.num_rows := the_count.count;
RETURN NEXT r;
END LOOP;
RETURN;
END;
' LANGUAGE plpgsql;
执行select count_em_all();
可以获得所有表格的行数。
答案 7 :(得分:6)
我通常不依赖于统计数据,特别是在PostgreSQL中。
SELECT table_name, dsql2('select count(*) from '||table_name) as rownum
FROM information_schema.tables
WHERE table_type='BASE TABLE'
AND table_schema='livescreen'
ORDER BY 2 DESC;
CREATE OR REPLACE FUNCTION dsql2(i_text text)
RETURNS int AS
$BODY$
Declare
v_val int;
BEGIN
execute i_text into v_val;
return v_val;
END;
$BODY$
LANGUAGE plpgsql VOLATILE
COST 100;
答案 8 :(得分:5)
我做了一个小变化来包括所有表格,也用于非公开表格。
CREATE TYPE table_count AS (table_schema TEXT,table_name TEXT, num_rows INTEGER);
CREATE OR REPLACE FUNCTION count_em_all () RETURNS SETOF table_count AS '
DECLARE
the_count RECORD;
t_name RECORD;
r table_count%ROWTYPE;
BEGIN
FOR t_name IN
SELECT table_schema,table_name
FROM information_schema.tables
where table_schema !=''pg_catalog''
and table_schema !=''information_schema''
ORDER BY 1,2
LOOP
FOR the_count IN EXECUTE ''SELECT COUNT(*) AS "count" FROM '' || t_name.table_schema||''.''||t_name.table_name
LOOP
END LOOP;
r.table_schema := t_name.table_schema;
r.table_name := t_name.table_name;
r.num_rows := the_count.count;
RETURN NEXT r;
END LOOP;
RETURN;
END;
' LANGUAGE plpgsql;
使用select count_em_all();
来调用它。
希望你觉得这很有用。 保罗
答案 9 :(得分:4)
简单的两步:
(注意:无需更改任何内容 - 只需复制粘贴)
的 1。创建功能
create function
cnt_rows(schema text, tablename text) returns integer
as
$body$
declare
result integer;
query varchar;
begin
query := 'SELECT count(1) FROM ' || schema || '.' || tablename;
execute query into result;
return result;
end;
$body$
language plpgsql;
<强> 2。运行此查询以获取所有表的行数
select sum(cnt_rows) as total_no_of_rows from (select
cnt_rows(table_schema, table_name)
from information_schema.tables
where
table_schema not in ('pg_catalog', 'information_schema')
and table_type='BASE TABLE') as subq;
或
以表格方式获取行数
select
table_schema,
table_name,
cnt_rows(table_schema, table_name)
from information_schema.tables
where
table_schema not in ('pg_catalog', 'information_schema')
and table_type='BASE TABLE'
order by 3 desc;
答案 10 :(得分:1)
我喜欢DanielVérité的answer。 但是当你不能使用CREATE语句时,你可以使用bash solution,或者,如果你是Windows用户,可以使用一个PowerShell语句:
# You don't need this if you have pgpass.conf
$env:PGPASSWORD = "userpass"
# Get table list
$tables = & 'C:\Program Files\PostgreSQL\9.4\bin\psql.exe' -U user -w -d dbname -At -c "select table_name from information_schema.tables where table_type='BASE TABLE' AND table_schema='schema1'"
foreach ($table in $tables) {
& 'C:\path_to_postresql\bin\psql.exe' -U root -w -d dbname -At -c "select '$table', count(*) from $table"
}
答案 11 :(得分:1)
这是一种更简单的方法。
tables="$(echo '\dt' | psql -U "${PGUSER}" | tail -n +4 | head -n-2 | tr -d ' ' | cut -d '|' -f2)"
for table in $tables; do
printf "%s: %s\n" "$table" "$(echo "SELECT COUNT(*) FROM $table;" | psql -U "${PGUSER}" | tail -n +3 | head -n-2 | tr -d ' ')"
done
输出应如下图所示
auth_group: 0
auth_group_permissions: 0
auth_permission: 36
auth_user: 2
auth_user_groups: 0
auth_user_user_permissions: 0
authtoken_token: 2
django_admin_log: 0
django_content_type: 9
django_migrations: 22
django_session: 0
mydata_table1: 9011
mydata_table2: 3499
您可以根据需要更新psql -U "${PGUSER}"
部分以访问数据库
请注意,head -n-2
语法可能无法在macOS中使用,您可以在那里直接使用a different implementation
在CentOS 7下的psql(PostgreSQL)11.2上进行了测试
如果要按表对它进行排序,则只需用sort
for table in $tables; do
printf "%s: %s\n" "$table" "$(echo "SELECT COUNT(*) FROM $table;" | psql -U "${PGUSER}" | tail -n +3 | head -n-2 | tr -d ' ')"
done | sort -k 2,2nr
输出;
mydata_table1: 9011
mydata_table2: 3499
auth_permission: 36
django_migrations: 22
django_content_type: 9
authtoken_token: 2
auth_user: 2
auth_group: 0
auth_group_permissions: 0
auth_user_groups: 0
auth_user_user_permissions: 0
django_admin_log: 0
django_session: 0
答案 12 :(得分:0)
这对我有用
从pg_stat_user_tables中选择schemaname,relname,n_live_tup ORDER BY n_live_tup DESC;
答案 13 :(得分:0)
我想要所有表的总数+表列表及其计数。有点像花费最多时间的性能图表
WITH results AS (
SELECT nspname AS schemaname,relname,reltuples
FROM pg_class C
LEFT JOIN pg_namespace N ON (N.oid = C.relnamespace)
WHERE
nspname NOT IN ('pg_catalog', 'information_schema') AND
relkind='r'
GROUP BY schemaname, relname, reltuples
)
SELECT * FROM results
UNION
SELECT 'all' AS schemaname, 'all' AS relname, SUM(reltuples) AS "reltuples" FROM results
ORDER BY reltuples DESC
您当然也可以在此版本的结果中添加一个LIMIT
子句,这样您不仅可以得到最多的n
罪犯,而且总数也可以。
关于这一点,需要注意的一件事是,在批量导入之后,需要让它坐一会儿。我通过使用实际导入数据在多个表中向数据库中添加5000行来测试了这一点。它显示了大约一分钟的1800条记录(可能是一个可配置的窗口)
这是基于https://stackoverflow.com/a/2611745/1548557的工作,因此感谢您并感谢您在CTE中使用该查询
答案 14 :(得分:0)
您可以使用此查询生成所有表名及其计数
select ' select '''|| tablename ||''', count(*) from ' || tablename ||'
union' from pg_tables where schemaname='public';
上述查询的结果将是
select 'dim_date', count(*) from dim_date union
select 'dim_store', count(*) from dim_store union
select 'dim_product', count(*) from dim_product union
select 'dim_employee', count(*) from dim_employee union
您需要删除最后一个并集,并在末尾添加分号!
select 'dim_date', count(*) from dim_date union
select 'dim_store', count(*) from dim_store union
select 'dim_product', count(*) from dim_product union
select 'dim_employee', count(*) from dim_employee **;**
运行!!!
答案 15 :(得分:0)
如果您位于psql
外壳程序中,则使用\gexec
可以执行syed's answer和Aur's answer中描述的语法,而无需在外部文本编辑器中进行手动编辑。
with x (y) as (
select
'select count(*), '''||
tablename||
''' as "tablename" from '||
tablename||' '
from pg_tables
where schemaname='public'
)
select
string_agg(y,' union all '||chr(10)) || ' order by tablename'
from x \gexec
请注意,string_agg()
既用于在语句之间定界union all
,又用于将分离的数据行拖入单个单元中并传递到缓冲区中。
\gexec
将当前查询缓冲区发送到服务器,然后将查询输出的每一行的每一列(如果有)都视为要执行的SQL语句。
答案 16 :(得分:0)
摘自我在 GregSmith 的回答中的评论,以使其更具可读性:
with tbl as (
SELECT table_schema,table_name
FROM information_schema.tables
WHERE table_name not like 'pg_%' AND table_schema IN ('public')
)
SELECT
table_schema,
table_name,
(xpath('/row/c/text()',
query_to_xml(format('select count(*) AS c from %I.%I', table_schema, table_name),
false,
true,
'')))[1]::text::int AS rows_n
FROM tbl ORDER BY 3 DESC;
感谢@a_horse_with_no_name
答案 17 :(得分:0)
你可以只做select from
select from table_name;