从SQL Server中的一个非常大的表(600M)获取子集(200M)的最快方法

时间:2010-10-22 09:05:01

标签: .net sql sql-server-2008 large-data-volumes

我们正面临以下问题,我们正在尝试提出最佳解决方案。

我们正在使用SQL Server 2008.我们有一个包含超过6亿条记录的表,并且有大约25列。其中一列是ID并已编制索引。我们需要从该表中获取记录的子集。主要有2例:

a)子集包含1000到2亿行之间的任何值;要获取的行的ID存储在SQL Server的索引表中;

b)该子集包含少于100万行;要获取的行的ID存储在应用程序的服务器内存(.NET Web应用程序)中。

我们的挑战是尽快获得此子集。我们确实需要在几秒钟内完成。

到目前为止我们的解决方案:

a)我们在两个表之间进行连接。这有效但但速度不够快。该查询类似于SELECT * FROM Big_Table JOIN IndexTable ON Big_Table.ID = IndexTable.ID

b)我们真的没有解决方案。我们尝试运行WHERE IN查询,但如果子集接近百万行(SELECT * FROM Big_Table WHERE ID IN (ID1, ID2, ID3...)),则只需要永远。一个解决方案可能是将索引存储在临时表中,但后来又回到了案例a。

我们正在尝试尽可能地优化SQL Server,特别是使用良好的索引和分区。我今天更多地问你认为最好的方法是在两种情况下(a和b)提取子集。

任何想法或建议都表示赞赏。

由于

2 个答案:

答案 0 :(得分:3)

由于你正在进行分页,你不能先从IndexTable中选择一系列行,然后将它加入到大表中吗?

类似的东西:

select * from big_table where id in (select top 100 id from indextable)

答案 1 :(得分:1)

对于您的问题a)(SELECT * FROM Big_Table JOIN IndexTable ON Big_Table.ID = IndexTable.ID查询)最明显的问题是:您确定在两个表中的ID列上都有索引吗?