我有一个简单的查询和两个表:
drilldown
CREATE SEQUENCE drilldown_id_seq;
CREATE TABLE drilldown (
transactionid bigint NOT NULL DEFAULT nextval('drilldown_id_seq'),
userid bigint NOT NULL default 0 REFERENCES users(id),
pathid bigint NOT NULL default 0,
reqms bigint NOT NULL default 0,
quems bigint NOT NULL default 0,
clicktime timestamp default current_timestamp,
PRIMARY KEY(transactionid)
);
ALTER SEQUENCE drilldown_id_seq OWNED BY drilldown.transactionid;
CREATE INDEX drilldown_idx1 ON drilldown (clicktime);
querystats
CREATE SEQUENCE querystats_id_seq;
CREATE TABLE querystats (
id bigint NOT NULL DEFAULT nextval('querystats_id_seq'),
transactionid bigint NOT NULL default 0 REFERENCES drilldown(transactionid),
querynameid bigint NOT NULL default 0 REFERENCES queryname(id),
queryms bigint NOT NULL default 0,
PRIMARY KEY(id)
);
ALTER SEQUENCE querystats_id_seq OWNED BY querystats.id;
CREATE INDEX querystats_idx1 ON querystats (transactionid);
CREATE INDEX querystats_idx2 ON querystats (querynameid);
drilldown
有150万条记录,querystats
有1000万条记录;当我在两者之间加入时会发生问题。
QUERY
explain analyse
select avg(qs.queryms)
from querystats qs
join drilldown d on (qs.transactionid=d.transactionid)
where querynameid=1;
查询计划
Aggregate (cost=528596.96..528596.97 rows=1 width=8) (actual time=5213.154..5213.154 rows=1 loops=1) -> Hash Join (cost=274072.53..518367.59 rows=4091746 width=8) (actual time=844.087..3528.788 rows=4117717 loops=1) Hash Cond: (qs.transactionid = d.transactionid) -> Bitmap Heap Scan on querystats qs (cost=88732.62..210990.44 rows=4091746 width=16) (actual time=309.502..1321.029 rows=4117717 loops=1) Recheck Cond: (querynameid = 1) -> Bitmap Index Scan on querystats_idx2 (cost=0.00..87709.68 rows=4091746 width=0) (actual time=307.916..307.916 rows=4117718 loops=1) Index Cond: (querynameid = 1) -> Hash (cost=162842.29..162842.29 rows=1371250 width=8) (actual time=534.065..534.065 rows=1372574 loops=1) Buckets: 4096 Batches: 64 Memory Usage: 850kB -> Index Scan using drilldown_pkey on drilldown d (cost=0.00..162842.29 rows=1371250 width=8) (actual time=0.015..364.657 rows=1372574 loops=1) Total runtime: 5213.205 ms (11 rows)
我知道我可以为PostgreSQL调整一些调整参数,但我想知道的是查询我正在做最合适的方法来加入两个表吗?
或者某种INNER JOIN?我只是不确定。
任何指针都表示赞赏!
database#\d drilldown
Table "public.drilldown"
Column | Type | Modifiers
---------------+-----------------------------+--------------------------------------------------------
transactionid | bigint | not null default nextval('drilldown_id_seq'::regclass)
userid | bigint | not null default 0
pathid | bigint | not null default 0
reqms | bigint | not null default 0
quems | bigint | not null default 0
clicktime | timestamp without time zone | default now()
Indexes:
"drilldown_pkey" PRIMARY KEY, btree (transactionid)
"drilldown_idx1" btree (clicktime)
Foreign-key constraints:
"drilldown_userid_fkey" FOREIGN KEY (userid) REFERENCES users(id)
Referenced by:
TABLE "querystats" CONSTRAINT "querystats_transactionid_fkey" FOREIGN KEY (transactionid) REFERENCES drilldown(transactionid)
database=# \d querystats
Table "public.querystats"
Column | Type | Modifiers
---------------+--------+---------------------------------------------------------
id | bigint | not null default nextval('querystats_id_seq'::regclass)
transactionid | bigint | not null default 0
querynameid | bigint | not null default 0
queryms | bigint | not null default 0
Indexes:
"querystats_pkey" PRIMARY KEY, btree (id)
"querystats_idx1" btree (transactionid)
"querystats_idx2" btree (querynameid)
Foreign-key constraints:
"querystats_querynameid_fkey" FOREIGN KEY (querynameid) REFERENCES queryname(id)
"querystats_transactionid_fkey" FOREIGN KEY (transactionid) REFERENCES drilldown(transactionid)
所以这里是请求的两个表和版本
PostgreSQL 9.1.7 on x86_64-unknown-linux-gnu, compiled by gcc (Ubuntu/Linaro 4.6.3-1ubuntu5) 4.6.3, 64-bit
所以这个查询正在做的是获取每个查询类型(querynameid)的查询的所有行值的平均值
name | current_setting | source
----------------------------+----------------------------------+----------------------
application_name | psql | client
client_encoding | UTF8 | client
DateStyle | ISO, MDY | configuration file
default_text_search_config | pg_catalog.english | configuration file
enable_seqscan | off | session
external_pid_file | /var/run/postgresql/9.1-main.pid | configuration file
lc_messages | en_US.UTF-8 | configuration file
lc_monetary | en_US.UTF-8 | configuration file
lc_numeric | en_US.UTF-8 | configuration file
lc_time | en_US.UTF-8 | configuration file
log_line_prefix | %t | configuration file
log_timezone | localtime | environment variable
max_connections | 100 | configuration file
max_stack_depth | 2MB | environment variable
port | 5432 | configuration file
shared_buffers | 24MB | configuration file
ssl | on | configuration file
TimeZone | localtime | environment variable
unix_socket_directory | /var/run/postgresql | configuration file
(19 rows)
我看到enable_seqscan = off,我没有触及任何设置,这是一个完全默认的安装。
更新
我从以下评论中做了一些更改,结果如下。
explain analyse SELECT (SELECT avg(queryms) AS total FROM querystats WHERE querynameid=3) as total FROM querystats qs JOIN drilldown d ON (qs.transactionid=d.transactionid) WHERE qs.querynameid=3 limit 1;
QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=196775.99..196776.37 rows=1 width=0) (actual time=2320.876..2320.876 rows=1 loops=1)
InitPlan 1 (returns $0)
-> Aggregate (cost=196775.94..196775.99 rows=1 width=8) (actual time=2320.815..2320.815 rows=1 loops=1)
-> Bitmap Heap Scan on querystats (cost=24354.25..189291.69 rows=2993698 width=8) (actual time=226.516..1144.690 rows=2999798 loops=1)
Recheck Cond: (querynameid = 3)
-> Bitmap Index Scan on querystats_idx (cost=0.00..23605.83 rows=2993698 width=0) (actual time=225.119..225.119 rows=2999798 loops=1)
Index Cond: (querynameid = 3)
-> Nested Loop (cost=0.00..1127817.12 rows=2993698 width=0) (actual time=2320.876..2320.876 rows=1 loops=1)
-> Seq Scan on drilldown d (cost=0.00..76745.10 rows=1498798 width=8) (actual time=0.009..0.009 rows=1 loops=1)
-> Index Scan using querystats_idx on querystats qs (cost=0.00..0.60 rows=2 width=8) (actual time=0.045..0.045 rows=1 loops=1)
Index Cond: ((querynameid = 3) AND (transactionid = d.transactionid))
Total runtime: 2320.940 ms
(12 rows)
答案 0 :(得分:7)
它的行为就像你设置了enable_seqscan = off
一样,因为它使用索引扫描来填充哈希表。除非作为诊断步骤,否则切勿关闭任何计划器选项,如果您正在显示计划,请显示所使用的任何选项。这可以运行以显示许多有用的信息:
SELECT version();
SELECT name, current_setting(name), source
FROM pg_settings
WHERE source NOT IN ('default', 'override');
如果您告诉我们有关运行时环境的信息,特别是计算机上的RAM数量,存储系统的外观以及数据库的大小(甚至更好,活动数据集< / em>数据库中经常引用的数据。)
作为一个粗略的细分,5.2秒分解为:
querystats
行。drilldown
条记录。所以,即使你似乎已经削弱了它使用最快计划的能力,它只需要1.26微秒(百万分之一秒)来定位每一行,将它连接到另一行,并将其用于计算平均。这绝对不是太糟糕,但你几乎可以肯定得到一个稍微快一点的计划。
首先,如果您使用的是9.2.x,其中x小于3,请立即升级到9.2.3。某些类型的计划存在性能回归,这些计划在最近的版本中得到修复,可能会影响此查询。通常,try to stay up-to-date on minor releases(其中版本号更改超过第二个点)。
您可以在单个会话中测试不同的计划,方法是在该连接上设置计划因子并运行查询(或EXPLAIN
)。尝试这样的事情:
SET seq_page_cost = 0.1;
SET random_page_cost = 0.1;
SET cpu_tuple_cost = 0.05;
SET effective_cache_size = '3GB'; -- actually use shared_buffers plus OS cache
确保所有enable_
设置均为on
。
答案 1 :(得分:1)
在此查询中
select avg(qs.queryms)
from querystats qs
join drilldown d
on (qs.transactionid=d.transactionid)
where querynameid=1;
您没有使用表“drilldown”中的任何列。由于外键约束保证“查询状态”中的每个“transactionid”在“drilldown”中都有一行,我认为联接不会做任何有用的事情。除非我遗漏了某些内容,否则您的查询等同于
select avg(qs.queryms)
from querystats qs
where querynameid=1;
根本没有加入。只要有一个关于“querynameid”的索引你应该得到不错的表现。
答案 2 :(得分:1)
如果您不加入,avg(qs.queryms)
执行一次。
当您进行连接时,您执行avg(qs.queryms)
的次数与连接生成的行数一样多。
如果您始终对单个querynameid感兴趣,请尝试将avg(qs.queryms)
放入子选项中:
SELECT
(SELECT avg(queryms) FROM querystats WHERE querynameid=1)
FROM querystats qs
JOIN drilldown d ON (qs.transactionid=d.transactionid)
WHERE qs.querynameid=1;
答案 3 :(得分:1)
querystats表对我来说就像一个 fat </ em>联结表。在这种情况下:省略代理键,并使用自然(复合)键(两个组件都不可归零)并添加反向复合索引。 (单独的索引是无用的,FK约束无论如何都会为你自动生成它们)
-- CREATE SEQUENCE querystats_id_seq;
CREATE TABLE querystats (
-- id bigint NOT NULL DEFAULT nextval('querystats_id_seq'),
transactionid bigint NOT NULL default 0 REFERENCES drilldown(transactionid),
querynameid bigint NOT NULL default 0 REFERENCES queryname(id),
queryms bigint NOT NULL default 0,
PRIMARY KEY(transactionid,querynameid )
);
-- ALTER SEQUENCE querystats_id_seq OWNED BY querystats.id;
--CREATE INDEX querystats_idx1 ON querystats (transactionid);
-- CREATE INDEX querystats_idx2 ON querystats (querynameid);
CREATE UNIQUE INDEX querystats_alt ON querystats (querynameid, transactionid);
答案 4 :(得分:1)
您在问题中声明:
我看到enable_seqscan = off,我没有触及任何设置,这是一个完全默认的安装。
相反,pg_settings
的输出告诉我们:
enable_seqscan |关|会话
意思是,您在会话中设置了enable_seqscan = off
。有些东西没有在这里加起来。
运行
SET enable_seqscan = on;
或
RESET enable_seqscan;
断言:
SHOW enable_seqscan;
此外,对于具有数百万条记录的数据库,shared_buffers
的设置太低。 24MB
似乎是Ubuntu开箱即用的保守设置。您需要编辑配置文件以供认真使用!我引用手册:
如果你有一个1GB或更多RAM的专用数据库服务器,a shared_buffers的合理起始值是系统内存的25%。
因此,请修改您的postgresql.conf
文件以增加价值并重新加载
然后再次尝试查询,了解enable_seqscan
是如何关闭的。