我们正面临以下问题,我们正在尝试提出最佳解决方案。
我们正在使用SQL Server 2008.我们有一个包含超过6亿条记录的表,并且有大约25列。其中一列是ID并已编制索引。我们需要从该表中获取记录的子集。主要有2例:
a)子集包含1000到2亿行之间的任何值;要获取的行的ID存储在SQL Server的索引表中;
b)该子集包含少于100万行;要获取的行的ID存储在应用程序的服务器内存(.NET Web应用程序)中。
我们的挑战是尽快获得此子集。我们确实需要在几秒钟内完成。
到目前为止我们的解决方案:
a)我们在两个表之间进行连接。这有效但但速度不够快。该查询类似于SELECT * FROM Big_Table JOIN IndexTable ON Big_Table.ID = IndexTable.ID
。
b)我们真的没有解决方案。我们尝试运行WHERE IN查询,但如果子集接近百万行(SELECT * FROM Big_Table WHERE ID IN (ID1, ID2, ID3...)
),则只需要永远。一个解决方案可能是将索引存储在临时表中,但后来又回到了案例a。
我们正在尝试尽可能地优化SQL Server,特别是使用良好的索引和分区。我今天更多地问你认为最好的方法是在两种情况下(a和b)提取子集。
任何想法或建议都表示赞赏。
由于
答案 0 :(得分:3)
由于你正在进行分页,你不能先从IndexTable中选择一系列行,然后将它加入到大表中吗?
类似的东西:
select * from big_table where id in (select top 100 id from indextable)
答案 1 :(得分:1)
对于您的问题a)(SELECT * FROM Big_Table JOIN IndexTable ON Big_Table.ID = IndexTable.ID
查询)最明显的问题是:您确定在两个表中的ID
列上都有索引吗?