我的表(@MyTable)是一个包含开始日期和结束日期(包括)的ID列表,表示ID出现在每天收到一次的文件中的天数间隔:
ID Start_Date End_Date
1 10/01/2014 12/15/2014
2 11/05/2014 03/03/2015
3 12/07/2014 12/09/2014
4 04/01/2015 04/15/2015
每个ID只出现一次,即只有1个相关的时间间隔,Start_Dates和End_dates之间的间隔可以(但不一定)在不同的ID之间重叠。我需要一个SQL查询来查找日期集合,其中每个ID在合并这些日期集合中的文件时至少出现一次,并且日期尽可能最少。在上表中,解决方案可以是这两个日期:
File_Date ID(s)
12/07/2015 1,2,3
04/01/2015 4
但是对于示例,ID(3)的Start_date和End_date&之间的任何1个日期。结合ID(4)和Start_date和End_date之间的1个日期将是一个解决方案。
实际数据包含10,000个不同的ID。可能的文件日期的日期范围是04/01/2014 - 07/01/2015。每个日常文件的大小非常大,必须手动下载,因此我希望尽量减少必须下载的数字以包含所有ID。
到目前为止,我有一个CTE,它会为每个ID的Start_Date和End_date之间的所有日期生成单独的行:
;WITH cte (ID, d)
AS
(
SELECT
tbl.ID AS ID,
tbl.Start_Date AS d
FROM @MyTable tbl
UNION ALL
SELECT
tbl.ID AS ID,
DATEADD(DAY, 1, cte.d) AS d
FROM cte
INNER JOIN
@MyTable tbl ON cte.ID = tbl.ID
WHERE cte.d < tbl.End_Date
)
SELECT
ID AS ID,
d AS File_Date
FROM cte
ORDER BY ID,d
OPTION (MaxRecursion 500)
使用@MyTable示例结果是:
ID File_Date
1 10/01/2014
1 10/02/2014
1 10/03/2014
1 etc...
我的想法是确定所有ID中最常见的File_Date,然后在剩下的所有ID中选择下一个最常见的File_Date,依此类推......但是我被卡住了。换句话说,我试图找到包含所有项目(ID)的最少集合(File_Dates),类似于https://softwareengineering.stackexchange.com/questions/263095/finding-the-fewest-sets-which-contain-all-items,但我并不关心最小化重复项。最终结果不必包括哪些ID出现在哪些File_Dates中;我只需要知道所有的File_Dates。
我正在使用MS SQL Server 2008。
答案 0 :(得分:0)
继续你的开始。通过这种方法找到的结果并不是最优的,但可以用于您的目的。
对于每个ID,为该范围内的每一天生成一组行。你已经知道怎么做了,虽然我使用了一个数字表,而不是每次都用CTE生成它,但它并不重要。
将结果放入临时表中。它将有10,000个ID * ~400天= ~4M行。
临时表有两列(ID, FileDate)
。
创建适当的索引。我从两个开始:(ID, FileDate)
和(FileDate, ID)
。使其中一个成为群集和主键。我尝试将(FileDate, ID)
作为群集主键。
然后循环处理:
查找包含最多ID的日期:
SELECT TOP(1) @VarDate = FileDate
FROM #temp
GROUP BY FileDate
ORDER BY COUNT(*) DESC;
记住在另一个临时表中找到最终结果的日期(以及可选的ID)。
从大表中删除与此日期对应的日期和ID。
DELETE FROM #temp
WHERE FileDate = @VarDate
OR ID IN
(
SELECT t2.ID
FROM #temp AS t2
WHERE t2.FileDate = @VarDate
)
重复循环直到#temp中没有行。
答案 1 :(得分:0)
使用Vladimir B.的建议方法和In SQL Server, how to create while loop in select作为模型的答案:
;WITH cte (ID, d)
AS
(
SELECT
tbl.ID AS ID,
tbl.Start_Date AS d
FROM @MyTable tbl
UNION ALL
SELECT
tbl.ID AS ID,
DATEADD(DAY, 1, cte.d) AS d
FROM cte
INNER JOIN
@MyTable tbl ON cte.ID = tbl.ID
WHERE cte.d < tbl.End_Date
)
SELECT
ID AS ID,
d AS File_Date
into #temp2
FROM cte
ORDER BY ID,d
OPTION (MaxRecursion 500)
Create Table #FileDates
(
File_Date date
)
GO
DECLARE @VarDate date
WHILE EXISTS (select * from #temp2)
BEGIN
SELECT TOP(1)
@VarDate = File_Date
FROM #temp2
GROUP BY File_Date
ORDER BY COUNT(*) DESC;
INSERT INTO #FileDates (File_Date)
Values (@VarDate)
DELETE from #temp2
WHERE File_Date=@VarDate
OR ID in
(
select t2.ID
from #temp2 as t2
where t2.File_Date = @VarDate
)
END
SELECT *
FROM #FileDates
ORDER BY File_Date
花30秒钟返回40个文件日期约。 4,000个ID。非常感谢巴拉诺夫先生!