按坐标查询需要太长时间 - 优化选项?

时间:2014-06-13 19:08:58

标签: sql postgresql indexing postgis

我有一个用于存储事件的表(目前约为5M,但会有更多)。每个事件都有两个我关心此查询的属性 - location(纬度和经度对)和relevancy

我的目标是:对于给定的位置范围(SW / NE纬度/经度对,因此4个浮点数),返回前100个事件relevancy,这些事件属于这些范围

我目前正在使用以下查询:

select * 
from event 
where latitude >= :swLatitude 
and latitude <= :neLatitude 
and longitude >= :swLongitude 
and longitude <= :neLongitude 
order by relevancy desc 
limit 100

暂时搁置此查询无法解决的日期行环绕问题。

这适用于较小的位置边界,但每当我尝试使用较大的位置边界时,它都会严重滞后。

我已经定义了以下索引:

CREATE INDEX latitude_longitude_relevancy_index
  ON event
  USING btree
  (latitude, longitude, relevancy);

表格本身很简单:

CREATE TABLE event
(
  id uuid NOT NULL,
  relevancy double precision NOT NULL,
  data text,
  latitude double precision NOT NULL,
  longitude double precision NOT NULL
  CONSTRAINT event_pkey PRIMARY KEY (id)
)

我尝试了explain analyze并获得了以下内容,我认为这意味着该指数甚至没有使用过:

"Limit  (cost=1045499.02..1045499.27 rows=100 width=1249) (actual time=14842.560..14842.575 rows=100 loops=1)"
"  ->  Sort  (cost=1045499.02..1050710.90 rows=2084754 width=1249) (actual time=14842.557..14842.562 rows=100 loops=1)"
"        Sort Key: relevancy"
"        Sort Method: top-N heapsort  Memory: 351kB"
"        ->  Seq Scan on event  (cost=0.00..965821.22 rows=2084754 width=1249) (actual time=3090.660..12525.695 rows=1983213 loops=1)"
"              Filter: ((latitude >= 0::double precision) AND (latitude <= 180::double precision) AND (longitude >= 0::double precision) AND (longitude <= 180::double precision))"
"              Rows Removed by Filter: 3334584"
"Total runtime: 14866.532 ms"

我在Win7上使用PostgreSQL 9.3,对于这个看似简单的任务而言,转移到其他任何事情似乎有些过分。

问题:

  • 使用不同索引来帮助当前查询的任何方法都更快?
  • 如何更快地重写当前查询?
  • 最简单的方法是什么?安装PostGIS并使用GEOGRAPHY数据类型?这真的会为我现在所做的事情带来性能上的好处吗?哪种PostGIS功能最适合此查询?

编辑#1:vacuum full analyze的结果:

INFO:  vacuuming "public.event"
INFO:  "event": found 0 removable, 5397347 nonremovable row versions in 872213 pages
DETAIL:  0 dead row versions cannot be removed yet.
CPU 17.73s/11.84u sec elapsed 154.24 sec.
INFO:  analyzing "public.event"
INFO:  "event": scanned 30000 of 872213 pages, containing 185640 live rows and 0 dead     rows; 30000 rows in sample, 5397344 estimated total rows
Total query runtime: 360092 ms.

真空后的结果:

"Limit  (cost=1058294.92..1058295.17 rows=100 width=1216) (actual time=6784.111..6784.121 rows=100 loops=1)"
"  ->  Sort  (cost=1058294.92..1063405.89 rows=2044388 width=1216) (actual time=6784.109..6784.113 rows=100 loops=1)"
"        Sort Key: relevancy"
"        Sort Method: top-N heapsort  Memory: 203kB"
"        ->  Seq Scan on event  (cost=0.00..980159.88 rows=2044388 width=1216) (actual time=0.043..6412.570 rows=1983213 loops=1)"
"              Filter: ((latitude >= 0::double precision) AND (latitude <= 180::double precision) AND (longitude >= 0::double precision) AND (longitude <= 180::double precision))"
"              Rows Removed by Filter: 3414134"
"Total runtime: 6784.170 ms"

1 个答案:

答案 0 :(得分:3)

使用一个使用R树的空间索引(本质上是一个二维索引,通过将空间划分为多个框来操作),你会好得多,并且会比大于,大于这种查询上有两个独立的lat,lon值。您需要首先创建一个几何类型,然后在查询中索引和使用它,而不是您当前使用的单独的纬度/经度对。

以下内容将创建一个几何类型,填充它,并为其添加一个索引,确保它是一个点和纬度/经度,称为EPSG:4326

alter table event add column geom geometry(POINT, 4326);
update event set geom=ST_SetSrid(ST_MakePoint(lon, lat), 4326);
create index ix_spatial_event_geom on event using gist(geom);

然后你可以运行以下查询来获取你的事件,它将使用空间相交,它应该利用你的空间索引:

Select * from events where ST_Intersects(ST_SetSRID(ST_MakeBox2D(ST_MakePoint(swLon, swLat), 
    ST_MakePoint(neLon, neLat)),4326), geom) 
order by relevancy desc limit 100;

通过使用ST_MakeBOX2D和两组点来制作交叉点的边界框,这两组点将位于边界框的对角线上,因此SW和NE或NW和SE对都可以工作。

当您对此进行解释时,您会发现包含空间索引。这将比lon和lat列上的两个独立索引表现得更好,因为您只需要针对空间搜索进行一次索引,而不是两个B树。我意识到这代表了另一种方式,并没有回答你原来的问题,除了间接的。

编辑: Mike T非常关注4326中的边界框搜索,使用几何数据类型和&amp;&amp;&amp;无论如何,作为SRID的运算符将被忽略,例如,

 where ST_MakeBox2D(ST_MakePoint(swLon, swLat), ST_MakePoint(neLon, neLat)) && geom