T-SQL包含所有行ID的最少常见日期集

时间:2015-07-16 20:33:44

标签: sql sql-server tsql date common-table-expression

我的表(@MyTable)是一个包含开始日期和结束日期(包括)的ID列表,表示ID出现在每天收到一次的文件中的天数间隔:

ID    Start_Date    End_Date
1     10/01/2014    12/15/2014
2     11/05/2014    03/03/2015
3     12/07/2014    12/09/2014
4     04/01/2015    04/15/2015

每个ID只出现一次,即只有1个相关的时间间隔,Start_Dates和End_dates之间的间隔可以(但不一定)在不同的ID之间重叠。我需要一个SQL查询来查找日期集合,其中每个ID在合并这些日期集合中的文件时至少出现一次,并且日期尽可能最少。在上表中,解决方案可以是这两个日期:

File_Date     ID(s)
12/07/2015    1,2,3
04/01/2015    4

但是对于示例,ID(3)的Start_date和End_date&之间的任何1个日期。结合ID(4)和Start_date和End_date之间的1个日期将是一个解决方案。

实际数据包含10,000个不同的ID。可能的文件日期的日期范围是04/01/2014 - 07/01/2015。每个日常文件的大小非常大,必须手动下载,因此我希望尽量减少必须下载的数字以包含所有ID。

到目前为止,我有一个CTE,它会为每个ID的Start_Date和End_date之间的所有日期生成单独的行:

;WITH cte (ID, d)
AS
(
    SELECT 
        tbl.ID AS ID,
        tbl.Start_Date AS d
    FROM @MyTable tbl
    UNION ALL
    SELECT 
        tbl.ID AS ID,
        DATEADD(DAY, 1, cte.d) AS d
    FROM cte
    INNER JOIN 
    @MyTable tbl ON cte.ID = tbl.ID
    WHERE cte.d < tbl.End_Date
)
SELECT
    ID AS ID,
    d AS File_Date 
FROM cte
ORDER BY ID,d
OPTION (MaxRecursion 500)

使用@MyTable示例结果是:

ID    File_Date
1     10/01/2014
1     10/02/2014
1     10/03/2014
1     etc...

我的想法是确定所有ID中最常见的File_Date,然后在剩下的所有ID中选择下一个最常见的File_Date,依此类推......但是我被卡住了。换句话说,我试图找到包含所有项目(ID)的最少集合(File_Dates),类似于https://softwareengineering.stackexchange.com/questions/263095/finding-the-fewest-sets-which-contain-all-items,但我并不关心最小化重复项。最终结果不必包括哪些ID出现在哪些File_Dates中;我只需要知道所有的File_Dates。

我正在使用MS SQL Server 2008。

2 个答案:

答案 0 :(得分:0)

继续你的开始。通过这种方法找到的结果并不是最优的,但可以用于您的目的。

对于每个ID,为该范围内的每一天生成一组行。你已经知道怎么做了,虽然我使用了一个数字表,而不是每次都用CTE生成它,但它并不重要。

将结果放入临时表中。它将有10,000个ID * ~400天= ~4M行。 临时表有两列(ID, FileDate)。 创建适当的索引。我从两个开始:(ID, FileDate)(FileDate, ID)。使其中一个成为群集和主键。我尝试将(FileDate, ID)作为群集主键。

然后循环处理:

查找包含最多ID的日期:

SELECT TOP(1) @VarDate = FileDate
FROM #temp
GROUP BY FileDate
ORDER BY COUNT(*) DESC;

记住在另一个临时表中找到最终结果的日期(以及可选的ID)。

从大表中删除与此日期对应的日期和ID。

DELETE FROM #temp
WHERE FileDate = @VarDate
OR ID IN
(
    SELECT t2.ID
    FROM #temp AS t2
    WHERE t2.FileDate = @VarDate
)

重复循环直到#temp中没有行。

答案 1 :(得分:0)

使用Vladimir B.的建议方法和In SQL Server, how to create while loop in select作为模型的答案:

;WITH cte (ID, d)
AS
(
    SELECT 
        tbl.ID AS ID,
        tbl.Start_Date AS d
    FROM @MyTable tbl
    UNION ALL
    SELECT 
        tbl.ID AS ID,
        DATEADD(DAY, 1, cte.d) AS d
    FROM cte
    INNER JOIN 
    @MyTable tbl ON cte.ID = tbl.ID
    WHERE cte.d < tbl.End_Date
)
SELECT
    ID AS ID,
    d AS File_Date
    into #temp2
FROM cte
ORDER BY ID,d
OPTION (MaxRecursion 500)

Create Table #FileDates
(
File_Date date
)

GO

DECLARE @VarDate date

WHILE EXISTS (select * from #temp2)

BEGIN

SELECT TOP(1) 
@VarDate = File_Date
FROM #temp2
GROUP BY File_Date
ORDER BY COUNT(*) DESC;

INSERT INTO #FileDates (File_Date)
Values (@VarDate)

DELETE from #temp2
WHERE File_Date=@VarDate
OR ID in
(
    select t2.ID
    from #temp2 as t2
    where t2.File_Date = @VarDate
)

END

SELECT *
FROM #FileDates
ORDER BY File_Date

花30秒钟返回40个文件日期约。 4,000个ID。非常感谢巴拉诺夫先生!