我需要建议因为我不够好。
我在PostgreSQL中有一个运行在AWS(亚马逊网络服务)上的数据库。 我有一个表“user_location”,其中存储了每个用户的位置,现在有超过300万行。
我有一个脚本经常运行以下查询,以查看是否有两个用户在附近:
SELECT
UL.id AS id,
UL.user_id AS user_id,
ST_X(UL.location::geometry) AS lat,
ST_Y(UL.location::geometry) AS lng,
UL.datetime AS datetime
FROM
public.user_location AS UL
WHERE
UL.user_id <> 1234567890 AND
'1890-10-31 03:00:00 +00:00' - UL.datetime <= interval '1' minute AND
'1890-10-31 03:00:00 +00:00' >= UL.datetime AND
ST_DWithin(UL.location, ST_GeogFromText('POINT(54 -1)'), 5000)
ORDER BY
UL.datetime DESC;
问题似乎是半径,查询的执行时间通过增加半径呈指数增长,因为它需要检查更多行。
我需要一种可扩展的解决方案,通过增加给定位置周围的半径,执行时间几乎相同。我需要在日期时间之前使用“水平切割”数据,在查询中的半径之后,我该怎么办?
我还有EXPLAIN ANALYZE的输出:
"Sort (cost=389.72..389.73 rows=3 width=52) (actual time=136848.985..136848.985 rows=0 loops=1)"
" Sort Key: datetime"
" Sort Method: quicksort Memory: 25kB"
" -> Bitmap Heap Scan on user_location ul (cost=11.00..389.70 rows=3 width=52) (actual time=136848.976..136848.976 rows=0 loops=1)"
" Recheck Cond: (location && '0101000020E6100000C182458F29494B4095E0C3DB39E3F3BF'::geography)"
" Filter: ((user_id <> 1234567890) AND ('1890-10-31 03:00:00 +00:00'::timestamp with time zone >= datetime) AND (('1890-10-31 03:00:00 +00:00'::timestamp with time zone - datetime) <= '00:01:00'::interval minute) AND ('0101000020E6100000C182458F29494B4095E0C3DB39E3F3BF'::geography && _st_expand(location, 5000::double precision)) AND _st_dwithin(location, '0101000020E6100000C182458F29494B4095E0C3DB39E3F3BF'::geography, 5000::double precision, true))"
" -> Bitmap Index Scan on users_locations_gix (cost=0.00..11.00 rows=91 width=0) (actual time=4463.249..4463.249 rows=165622 loops=1)"
" Index Cond: (location && '0101000020E6100000C182458F29494B4095E0C3DB39E3F3BF'::geography)"
"Total runtime: 136849.591 ms"
提前致谢! 干杯
答案 0 :(得分:1)
有300万行,您将希望减少查询实际需要评估的数量。要做到这一点,最好是我们知道您的数据是什么样的,但有一些相当简单的事情要看。
您指定的分钟内有多少条目?我猜它应该很低。如果是,你可以在UL.datetime
上放一个索引(默认btree一个很好)(不要忘记VACUUM and ANALYZE
之后)。然后更改您的查询,以便它可以充分利用它。
UL.datetime BETWEEN '1890-10-31 03:00:00 +00:00'
AND '1890-10-31 03:00:00 +00:00' + interval '1' minute AND
如果这些日期之间的行数太多,我们需要找到一种方法来限制需要通过位置评估的内容。