sql从大量ID中选择

时间:2010-06-08 22:28:06

标签: python sql postgresql sqlobject

我有一张桌子,Foo。我在Foo上运行查询以从Foo的子集中获取ID。然后我想运行一组更复杂的查询,但仅限于那些ID。有没有一种有效的方法来做到这一点?我能想到的最好的是创建一个查询,例如:

SELECT ... --complicated stuff
WHERE ... --more stuff
  AND id IN (1, 2, 3, 9, 413, 4324, ..., 939393)

也就是说,我构建了一个巨大的“IN”子句。这有效吗?有没有更有效的方法,或者是获取ID的初始查询加入的唯一方法?如果它有帮助,我使用SQLObject连接到PostgreSQL数据库,我可以访问执行查询的游标来获取所有ID。

更新:我应该提到更复杂的查询都要依赖这些ID,要么创建更多ID以在其他查​​询中查找。如果我要做一个大型查询,我最终会一次加入六个表,这可能太慢了。

4 个答案:

答案 0 :(得分:6)

我过去使用的一种技术是将ID放入临时表,然后使用它来驱动一系列查询。类似的东西:

BEGIN;
CREATE TEMP TABLE search_result ON COMMIT DROP AS
  SELECT entity_id
  FROM entity /* long complicated search joins and conditions ... */;
-- Fetch primary entities
SELECT entity_id, entity.x /*, ... */
FROM entity JOIN search_result USING (entity_id);
-- Fetch some related entities
SELECT entity_id, related_entity_id, related_entity.x /*, ... */
FROM related_entity JOIN search_result USING (entity_id);
-- And more, as required
END;

当搜索结果实体具有多个一对多关系时,如果没有a)执行N * M + 1选择或b)执行相关实体的笛卡尔连接,这将非常有用。

答案 1 :(得分:1)

我认为使用VIEW可能会有用。使用您的ID查询简单创建一个视图,然后通过ID加入该视图。这会将您的结果限制为所需的ID子集,而无需昂贵的IN语句。

我知道IN语句比EXISTS语句更昂贵。

答案 2 :(得分:0)

我认为选择id的条件的连接将更有效,因为查询优化器有更多选项来做正确的事情。使用解释计划来了解postgresql将如何处理它。

答案 3 :(得分:0)

使用连接几乎肯定会更好,但是,另一个选择是使用子选择,即

SELECT ... --complicated stuff
WHERE ... --more stuff
  AND id IN (select distinct id from Foo where ...)